ИССЛЕДОВАНИЕ · RESEARCH · #2014
ACED-Bench: нейро-символический бенчмарк для оценки того, как LLM-агенты получают и используют причинные доказательства
В статье представлен ACED-BENCH — нейро-символический бенчмарк, который отделяет текстовые научные сценарии от скрытых вероятностных графовых моделей, чтобы проверить, могут ли LLM-агенты проектировать эксперименты, интерпретировать конечные данные и принимать причинные решения. Основной лидерборд ACED-CORE включает 180 задач (60 вопросов на предков/потомков и 120 задач на ограниченные причинные решения), ACED-QUAL — 150 бинарных квалификационных вопросов; авторы протестировали семь современных и две более ранние модели в трёх дизайнах активных агентов и использовали evidence-ledger-анализ для локализации ошибок в расследовании.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен ACED-BENCH — нейро-символический бенчмарк, который отделяет текстовые научные сценарии от скрытых вероятностных графовых моделей, чтобы проверить, могут ли LLM-агенты проектировать эксперименты, интерпретировать конечные данные и принимать причинные решения.
- Основной лидерборд ACED-CORE включает 180 задач (60 вопросов на предков/потомков и 120 задач на ограниченные причинные решения), ACED-QUAL — 150 бинарных квалификационных вопросов; авторы протестировали семь современных и две более ранние модели в трёх дизайнах активных агентов и использовали evidence-ledger-анализ для локализации ошибок в расследовании.
- Предоставляет масштабируемый и точный бенчмарк для проверки, могут ли LLM-агенты активно проектировать эксперименты и рассуждать о причинных доказательствах, выявляя конкретные режимы ошибок, важные для ИИ-помощников в науке.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет масштабируемый и точный бенчмарк для проверки, могут ли LLM-агенты активно проектировать эксперименты и рассуждать о причинных доказательствах, выявляя конкретные режимы ошибок, важные для ИИ-помощников в науке.