ИССЛЕДОВАНИЕ · RESEARCH · #1771
StoreBench: среда live-commerce для обучения и оценки автономных операторных LLM-агентов
StoreBench — это среда обучения с подкреплением в формате live-commerce (arXiv:2610.10942v1), где агент управляет интернет-магазином одежды через те же 29 инструментов, что и человек-оператор. Среда проверяет дальнюю планировку и экономическое суждение в непрерывных стохастических условиях с калиброванными порогами прохождения и защищённой функцией вознаграждения; авторы протестировали семь современных LLM в нескольких сценариях (ни одна модель в среднем не дотягивает до скриптовой эвристики smart-triage), показали превосходство людей над моделями, зафиксировали значимое улучшение Qwen3.5-27B после GRPO дообучения на пяти задачах и опубликовали пять примеров обучающего набора, десять траекторий и инструменты оценки/верификации, при этом полная среда не разглашается.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- StoreBench — это среда обучения с подкреплением в формате live-commerce (arXiv:2610.10942v1), где агент управляет интернет-магазином одежды через те же 29 инструментов, что и человек-оператор.
- Среда проверяет дальнюю планировку и экономическое суждение в непрерывных стохастических условиях с калиброванными порогами прохождения и защищённой функцией вознаграждения; авторы протестировали семь современных LLM в нескольких сценариях (ни одна модель в среднем не дотягивает до скриптовой эвристики smart-triage), показали превосходство людей над моделями, зафиксировали значимое улучшение Qwen3.5-27B после GRPO дообучения на пяти задачах и опубликовали пять примеров обучающего набора, десять траекторий и инструменты оценки/верификации, при этом полная среда не разглашается.
- StoreBench даёт воспроизводимую продакшн-подобную среду, которая нагружает дальнее планирование, экономические решения и работу с инструментами у LLM-агентов, предоставляя более строгий и реалистичный бенчмарк для исследований автономных операторов.
ПОЧЕМУ ЭТО ВАЖНО
StoreBench даёт воспроизводимую продакшн-подобную среду, которая нагружает дальнее планирование, экономические решения и работу с инструментами у LLM-агентов, предоставляя более строгий и реалистичный бенчмарк для исследований автономных операторов.