OCTAVE: бенчмарк по возможностям для генерации HTML5-игр end-to-end (arXiv:2611.17681v1)
OCTAVE — это бенчмарк, разбивающий задачу полной генерации HTML5-игр на восемь направлений работы, 180 задач и 1 800 требований к оценке, сформированных на основе запросов игроков, реконструкции коммерческих механик и экспертного дизайна; охватываются PC Web, Mobile Web, 2D и 3D. В статье приведена статическая проверка исходного кода по требованиям для 11 комбинаций моделей и обвязок (33,2% полноты, 32,5% насыщенности), выявлены многочисленные статические отказы и пропущенные артефакты, и ни одна система не превысила 50% по обоим видам требований при исключении самопроверки той же модели.