ИССЛЕДОВАНИЕ · RESEARCH · #711
GameASG-Bench: бенчмарк поведенческой тестируемости для автономной генерации игр (arXiv:2609.21293v1)
Работа представляет GameASG-Bench — бенчмарк, который делает поведенческую тестируемость частью задачи автономной генерации ПО для игр, задавая интерфейс оценки и включая статические L1 проверки кода и браузерные L2 проверки времени выполнения. Выпуск содержит 47 браузерных задач по генерации игр в 12 жанрах с эталонными реализациями; испытания на девяти агентных стеках показали до 93.2% среднего прохождения L2 проверок, но лишь 55.3% строгого успеха задач (26/47), при этом DeepSeek-V4-Flash выигрывает от доступа к инструментам и большего числа ходов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Работа представляет GameASG-Bench — бенчмарк, который делает поведенческую тестируемость частью задачи автономной генерации ПО для игр, задавая интерфейс оценки и включая статические L1 проверки кода и браузерные L2 проверки времени выполнения.
- Выпуск содержит 47 браузерных задач по генерации игр в 12 жанрах с эталонными реализациями; испытания на девяти агентных стеках показали до 93.2% среднего прохождения L2 проверок, но лишь 55.3% строгого успеха задач (26/47), при этом DeepSeek-V4-Flash выигрывает от доступа к инструментам и большего числа ходов.
- GameASG-Bench важен тем, что вводит поведенческую тестируемость как ключевое требование для end-to-end агентов генерации кода и выявляет несоответствия на уровне задач, скрываемые средними показателями проверок.
ПОЧЕМУ ЭТО ВАЖНО
GameASG-Bench важен тем, что вводит поведенческую тестируемость как ключевое требование для end-to-end агентов генерации кода и выявляет несоответствия на уровне задач, скрываемые средними показателями проверок.