ИССЛЕДОВАНИЕ · RESEARCH · #2618
BoardSafety — бенчмарк для оценки LLM по безопасности плат на основе документации производителя
Бенчмарк BoardSafety (arXiv:2610.33448v1) преобразует datasheet и руководства производителя в набор правил безопасности для конкретных плат и размеченные сценарии операций (безопасно, небезопасно, недостаточно информации) для проверки, могут ли LLM оценивать безопасность предлагаемых действий. Оценки с разным доступом к правилам и использованием структурированного объяснения показывают, что доступ к правилам обычно повышает точность, но современные модели по-прежнему не дают надёжных решений по безопасности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Бенчмарк BoardSafety (arXiv:2610.33448v1) преобразует datasheet и руководства производителя в набор правил безопасности для конкретных плат и размеченные сценарии операций (безопасно, небезопасно, недостаточно информации) для проверки, могут ли LLM оценивать безопасность предлагаемых действий.
- Оценки с разным доступом к правилам и использованием структурированного объяснения показывают, что доступ к правилам обычно повышает точность, но современные модели по-прежнему не дают надёжных решений по безопасности.
- Это даёт стандартизированный, специфичный для конкретных плат тест способности LLM делать суждения о безопасности по документации производителя, выявляя ограничения, важные при применении LLM для физических экспериментов и разработки аппаратного обеспечения.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт стандартизированный, специфичный для конкретных плат тест способности LLM делать суждения о безопасности по документации производителя, выявляя ограничения, важные при применении LLM для физических экспериментов и разработки аппаратного обеспечения.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2610.33448v1 Announce Type: new Abstract: The development of large language models (LLMs) are capable to assist with hardware experiments. In this scenario, this raises a practical question: Can LLMs determine whether a proposed operation is safe for a specific development board? Documented operating limits and safety requirements are board-specific, even across products from the same manufacturer. This variati…
arXiv:2610.33375v1 Announce Type: new Abstract: Enterprise workflow agents typically rely on step-by-step interaction (Step-by-Step): the agent executes an action, observes its result, and invokes a large language model (LLM) again to decide the next step. Global orchestration (Global) instead generates a complete executable workflow in advance and executes it without further LLM calls, substantially reducing inferen…
arXiv:2610.36389v1 Announce Type: new Abstract: Evaluating natural language explanations in recommender systems is essential for fostering user trust, transparency, and engagement. However, existing evaluation approaches like human evaluations, while accurate, are resource-intensive and impractical at the scale required by modern recommendation platforms. Also, automated methods using single-agent LLMs suffer from pr…