StoreBench: среда live-commerce для обучения и оценки автономных операторных LLM-агентов
StoreBench — это среда обучения с подкреплением в формате live-commerce (arXiv:2610.10942v1), где агент управляет интернет-магазином одежды через те же 29 инструментов, что и человек-оператор. Среда проверяет дальнюю планировку и экономическое суждение в непрерывных стохастических условиях с калиброванными порогами прохождения и защищённой функцией вознаграждения; авторы протестировали семь современных LLM в нескольких сценариях (ни одна модель в среднем не дотягивает до скриптовой эвристики smart-triage), показали превосходство людей над моделями, зафиксировали значимое улучшение Qwen3.5-27B после GRPO дообучения на пяти задачах и опубликовали пять примеров обучающего набора, десять траекторий и инструменты оценки/верификации, при этом полная среда не разглашается.