Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #16642

ProgramBench

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · Cohere

Исследование: делегирование этапов исследования и планирования позволяет командам агентов почти достичь предельной производительности при существенно меньших затратах

Контролируемое исследование команд кодирующих агентов показывает, что хорошо организованные многоагентные системы могут опережать одиночные агенты на ProgramBench примерно на 10 процентных пунктов, но обычно стоят в 3–7 раз дороже. Важно, что делегирование только этапов исследования и планирования может дать ту же производительность, что и делегирование планирования, реализации и верификации вместе, примерно за половину стоимости — например, лид Sol с 16 дешёвыми планировщиками Luna достиг 61.8% против 63.2% у команды только на Sol при снижении затрат с $510 до $155; работа также рассматривает последние крупные проекты с командами агентов (Claude, Cursor, Bun).

7.0

RESEARCH · 1 ИСТОЧН. · The Decoder

Vals AI: команды агентов требуют гораздо больше токенов при минимальном приросте качества

Компания Vals AI протестировала GPT-6 Sol и Claude Opus 5.5 на наборе Vibe Code Bench по одиночке и в командах агентов при среднем и максимальном уровне рассуждений. Команды использовали в 1,8–5,1 раза больше токенов, но практически не давали стабильного прироста качества — только GPT-6 Sol при среднем уровне показал статистически значимый прирост +7,3; при максимальном рассуждении преимуществ не было. Аналогичные выводы в тестах Anthropic и ProgramBench и комментарии исследователей OpenAI указывают, что рои агентов в основном ускоряют работу, но обходятся дороже и сталкиваются с проблемами координации.

6.0