ACED-Bench: нейро-символический бенчмарк для оценки того, как LLM-агенты получают и используют причинные доказательства
В статье представлен ACED-BENCH — нейро-символический бенчмарк, который отделяет текстовые научные сценарии от скрытых вероятностных графовых моделей, чтобы проверить, могут ли LLM-агенты проектировать эксперименты, интерпретировать конечные данные и принимать причинные решения. Основной лидерборд ACED-CORE включает 180 задач (60 вопросов на предков/потомков и 120 задач на ограниченные причинные решения), ACED-QUAL — 150 бинарных квалификационных вопросов; авторы протестировали семь современных и две более ранние модели в трёх дизайнах активных агентов и использовали evidence-ledger-анализ для локализации ошибок в расследовании.