ИССЛЕДОВАНИЕ · RESEARCH · #2467
GenXR-Bench: первый бенчмарк для агентов программирования в интерактивной XR-разработке
Статья (arXiv:2610.29014v1) представляет GenXR-Bench — бенчмарк с 112 задачами, включающими 24 реализации функций, 21 исправление ошибок и 67 задач генерации приложений, а также отложенные тесты со скриптованными и адаптивными взаимодействиями и программными и визуальными утверждениями. Авторы верифицировали набор тестов (96.5% совпадения с независимой экспертной оценкой на 124 кандидатных приложениях), оценили 10 моделей (лучшее конфигурация показала 50.9% Pass@1) и выделили типичные ошибки в обработке асинхронных сенсоров, физических привязок и семантики воплощённого взаимодействия.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.29014v1) представляет GenXR-Bench — бенчмарк с 112 задачами, включающими 24 реализации функций, 21 исправление ошибок и 67 задач генерации приложений, а также отложенные тесты со скриптованными и адаптивными взаимодействиями и программными и визуальными утверждениями.
- Авторы верифицировали набор тестов (96.5% совпадения с независимой экспертной оценкой на 124 кандидатных приложениях), оценили 10 моделей (лучшее конфигурация показала 50.9% Pass@1) и выделили типичные ошибки в обработке асинхронных сенсоров, физических привязок и семантики воплощённого взаимодействия.
- GenXR-Bench обеспечивает первый воспроизводимый сквозной тест для оценки агентов программирования в интерактивных, физически обусловленных XR-приложениях и выявляет конкретные ограничения для дальнейшего развития моделей и инструментов.
ПОЧЕМУ ЭТО ВАЖНО
GenXR-Bench обеспечивает первый воспроизводимый сквозной тест для оценки агентов программирования в интерактивных, физически обусловленных XR-приложениях и выявляет конкретные ограничения для дальнейшего развития моделей и инструментов.