ИССЛЕДОВАНИЕ · RESEARCH · #1766
Выпущен бенчмарк AgentHorizon для оценки агентных судей в долгосрочных задачах работы за компьютером
AgentHorizon — новый бенчмарк из 1 373 пар инструкций и траекторий, полученных из 166 часов записей работы за компьютером на трёх ОС; негативные примеры сформированы обменом схожих инструкций. В работе (arXiv:2610.11050v1) опубликованы три разбиения (AH, AH-S, AH-D) и оценены одиннадцать агентных судей: лучший, GPT-5.5, достигает 80.9% сбалансированной точности на подвыборке AH, использование инструментов помогает некоторым моделям, но ухудшает результаты у открытых моделей, а судьи сильно различаются в выявлении скрытых ошибок в длинных историях взаимодействия.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- AgentHorizon — новый бенчмарк из 1 373 пар инструкций и траекторий, полученных из 166 часов записей работы за компьютером на трёх ОС; негативные примеры сформированы обменом схожих инструкций.
- В работе (arXiv:2610.11050v1) опубликованы три разбиения (AH, AH-S, AH-D) и оценены одиннадцать агентных судей: лучший, GPT-5.5, достигает 80.9% сбалансированной точности на подвыборке AH, использование инструментов помогает некоторым моделям, но ухудшает результаты у открытых моделей, а судьи сильно различаются в выявлении скрытых ошибок в длинных историях взаимодействия.
- Автоматические судьи применяются для обучения и оценки агентных систем; AgentHorizon показывает, что текущие судьи слабо проверяют длинные многошаговые траектории и даёт бенчмарк для разработки более надёжных методов проверки.
ПОЧЕМУ ЭТО ВАЖНО
Автоматические судьи применяются для обучения и оценки агентных систем; AgentHorizon показывает, что текущие судьи слабо проверяют длинные многошаговые траектории и даёт бенчмарк для разработки более надёжных методов проверки.