BoardSafety — бенчмарк для оценки LLM по безопасности плат на основе документации производителя
Бенчмарк BoardSafety (arXiv:2610.33448v1) преобразует datasheet и руководства производителя в набор правил безопасности для конкретных плат и размеченные сценарии операций (безопасно, небезопасно, недостаточно информации) для проверки, могут ли LLM оценивать безопасность предлагаемых действий. Оценки с разным доступом к правилам и использованием структурированного объяснения показывают, что доступ к правилам обычно повышает точность, но современные модели по-прежнему не дают надёжных решений по безопасности.