ERPBench: оценка агентов по скриншотам на реальной ERP-системе (arXiv:2609.17885v1)
ERPBench — новый бенчмарк и промышленный хаб, который оценивает агентов, управляющих приложениями по скриншотам, на реальной воспроизводимой ERP-системе и сверяет результаты с базой данных. Авторы протестировали шесть закрытых и открытых агентов и выявили значимые ошибки, специфичные для корпоративных рабочих процессов: агенты часто сохраняют формы (до 85% запусков), но записывают неверные значения в базу данных (в некоторых случаях верно лишь 3% записей); также представлен механизм одобрения человеческим оператором для безопасного развёртывания.