ИССЛЕДОВАНИЕ · RESEARCH · #1832
Vals AI: команды агентов требуют гораздо больше токенов при минимальном приросте качества
Компания Vals AI протестировала GPT-6 Sol и Claude Opus 5.5 на наборе Vibe Code Bench по одиночке и в командах агентов при среднем и максимальном уровне рассуждений. Команды использовали в 1,8–5,1 раза больше токенов, но практически не давали стабильного прироста качества — только GPT-6 Sol при среднем уровне показал статистически значимый прирост +7,3; при максимальном рассуждении преимуществ не было. Аналогичные выводы в тестах Anthropic и ProgramBench и комментарии исследователей OpenAI указывают, что рои агентов в основном ускоряют работу, но обходятся дороже и сталкиваются с проблемами координации.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Компания Vals AI протестировала GPT-6 Sol и Claude Opus 5.5 на наборе Vibe Code Bench по одиночке и в командах агентов при среднем и максимальном уровне рассуждений.
- Команды использовали в 1,8–5,1 раза больше токенов, но практически не давали стабильного прироста качества — только GPT-6 Sol при среднем уровне показал статистически значимый прирост +7,3; при максимальном рассуждении преимуществ не было.
- Аналогичные выводы в тестах Anthropic и ProgramBench и комментарии исследователей OpenAI указывают, что рои агентов в основном ускоряют работу, но обходятся дороже и сталкиваются с проблемами координации.
ПОЧЕМУ ЭТО ВАЖНО
Важно потому, что это показывает: системы из множества агентов часто не окупаются — они дают преимущество по скорости, а не по качеству, что влияет на решения о развертывании и бюджете.