ИССЛЕДОВАНИЕ · RESEARCH · #527
ERPBench: оценка агентов по скриншотам на реальной ERP-системе (arXiv:2609.17885v1)
ERPBench — новый бенчмарк и промышленный хаб, который оценивает агентов, управляющих приложениями по скриншотам, на реальной воспроизводимой ERP-системе и сверяет результаты с базой данных. Авторы протестировали шесть закрытых и открытых агентов и выявили значимые ошибки, специфичные для корпоративных рабочих процессов: агенты часто сохраняют формы (до 85% запусков), но записывают неверные значения в базу данных (в некоторых случаях верно лишь 3% записей); также представлен механизм одобрения человеческим оператором для безопасного развёртывания.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ERPBench — новый бенчмарк и промышленный хаб, который оценивает агентов, управляющих приложениями по скриншотам, на реальной воспроизводимой ERP-системе и сверяет результаты с базой данных.
- Авторы протестировали шесть закрытых и открытых агентов и выявили значимые ошибки, специфичные для корпоративных рабочих процессов: агенты часто сохраняют формы (до 85% запусков), но записывают неверные значения в базу данных (в некоторых случаях верно лишь 3% записей); также представлен механизм одобрения человеческим оператором для безопасного развёртывания.
- ERPBench важен тем, что даёт воспроизводимую живую оценку и механизм с человеческим одобрением, выявляющий серьёзные проблемы надёжности GUI‑агентов в корпоративных процессах, что критично для безопасного развёртывания.
ПОЧЕМУ ЭТО ВАЖНО
ERPBench важен тем, что даёт воспроизводимую живую оценку и механизм с человеческим одобрением, выявляющий серьёзные проблемы надёжности GUI‑агентов в корпоративных процессах, что критично для безопасного развёртывания.