Тест Co-Design Bench: агенты для кодирования полностью выполняют лишь ~26% реальных задач
Исследователи (во главе с Alibaba и рядом азиатских университетов) представили Co-Design Bench — бенчмарк на основе реальных запросов по доработке веб‑приложений; из десяти моделей лучшая (GPT-6 Astra) в среднем удовлетворяет около 70% требований, но полностью корректным оказывается только в 26,4% задач, то есть человеку приходится дорабатывать почти три из четырёх задач. Авторы также отмечают сильную зависимость результатов от сложности задач и окружения агента, поэтому рекомендуют указывать модель вместе с рабочей средой.