Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #30499

Co-Design Bench

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · The Decoder

Тест Co-Design Bench: агенты для кодирования полностью выполняют лишь ~26% реальных задач

Исследователи (во главе с Alibaba и рядом азиатских университетов) представили Co-Design Bench — бенчмарк на основе реальных запросов по доработке веб‑приложений; из десяти моделей лучшая (GPT-6 Astra) в среднем удовлетворяет около 70% требований, но полностью корректным оказывается только в 26,4% задач, то есть человеку приходится дорабатывать почти три из четырёх задач. Авторы также отмечают сильную зависимость результатов от сложности задач и окружения агента, поэтому рекомендуют указывать модель вместе с рабочей средой.

8.0