ИССЛЕДОВАНИЕ · RESEARCH · #2977
Статья BABA-Bench (arXiv:2610.41076v1) представляет бенчмарк из 47 миров для агентов‑адвокатов пациентов
BABA-Bench — это бенчмарк из 47 интерактивных миров, созданный на основе обезличенных реальных дел по защите прав пациентов; он проверяет не только итог, но и процедурную корректность каждой операции (разрешения, доказательства, запреты). Авторы протестировали 14 передовых моделей в 1 974 прогонах: агенты часто добивались нужного результата некорректным путём (из 921 прогона, достигнувшего всех результатов, 254 — 28% — не прошли процедурные проверки); Claude Opus 5 добивался всех результатов в 81,6% прогонов, но полностью проходил проверки лишь в 52,5%, а предоставление верифицированных маршрутов существенно повысило показатели двух моделей (с 29,8% до 91,5% и с 44,0% до 97,2%).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- BABA-Bench — это бенчмарк из 47 интерактивных миров, созданный на основе обезличенных реальных дел по защите прав пациентов; он проверяет не только итог, но и процедурную корректность каждой операции (разрешения, доказательства, запреты).
- Авторы протестировали 14 передовых моделей в 1 974 прогонах: агенты часто добивались нужного результата некорректным путём (из 921 прогона, достигнувшего всех результатов, 254 — 28% — не прошли процедурные проверки); Claude Opus 5 добивался всех результатов в 81,6% прогонов, но полностью проходил проверки лишь в 52,5%, а предоставление верифицированных маршрутов существенно повысило показатели двух моделей (с 29,8% до 91,5% и с 44,0% до 97,2%).
- Бенчмарк выявляет распространённый риск: модели могут достигать правильного результата, нарушая разрешения или процедуры, что подчёркивает необходимость контроля маршрутов и процедур в продуктах для пациентов.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк выявляет распространённый риск: модели могут достигать правильного результата, нарушая разрешения или процедуры, что подчёркивает необходимость контроля маршрутов и процедур в продуктах для пациентов.