Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3264

Тест Co-Design Bench: агенты для кодирования полностью выполняют лишь ~26% реальных задач

Исследователи (во главе с Alibaba и рядом азиатских университетов) представили Co-Design Bench — бенчмарк на основе реальных запросов по доработке веб‑приложений; из десяти моделей лучшая (GPT-6 Astra) в среднем удовлетворяет около 70% требований, но полностью корректным оказывается только в 26,4% задач, то есть человеку приходится дорабатывать почти три из четырёх задач. Авторы также отмечают сильную зависимость результатов от сложности задач и окружения агента, поэтому рекомендуют указывать модель вместе с рабочей средой.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Исследователи (во главе с Alibaba и рядом азиатских университетов) представили Co-Design Bench — бенчмарк на основе реальных запросов по доработке веб‑приложений; из десяти моделей лучшая (GPT-6 Astra) в среднем удовлетворяет около 70% требований, но полностью корректным оказывается только в 26,4% задач, то есть человеку приходится дорабатывать почти три из четырёх задач.
  2. Авторы также отмечают сильную зависимость результатов от сложности задач и окружения агента, поэтому рекомендуют указывать модель вместе с рабочей средой.
  3. Бенчмарк демонстрирует большой разрыв между идеальными результатами на синтетических тестах и реальной пригодностью кодовых агентов, что влияет на оценку и внедрение этих систем компаниями.

ПОЧЕМУ ЭТО ВАЖНО

Бенчмарк демонстрирует большой разрыв между идеальными результатами на синтетических тестах и реальной пригодностью кодовых агентов, что влияет на оценку и внедрение этих систем компаниями.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1