Выпущен бенчмарк AgentHorizon для оценки агентных судей в долгосрочных задачах работы за компьютером
AgentHorizon — новый бенчмарк из 1 373 пар инструкций и траекторий, полученных из 166 часов записей работы за компьютером на трёх ОС; негативные примеры сформированы обменом схожих инструкций. В работе (arXiv:2610.11050v1) опубликованы три разбиения (AH, AH-S, AH-D) и оценены одиннадцать агентных судей: лучший, GPT-5.5, достигает 80.9% сбалансированной точности на подвыборке AH, использование инструментов помогает некоторым моделям, но ухудшает результаты у открытых моделей, а судьи сильно различаются в выявлении скрытых ошибок в длинных историях взаимодействия.