ИССЛЕДОВАНИЕ · RESEARCH · #1965
Исследование: делегирование этапов исследования и планирования позволяет командам агентов почти достичь предельной производительности при существенно меньших затратах
Контролируемое исследование команд кодирующих агентов показывает, что хорошо организованные многоагентные системы могут опережать одиночные агенты на ProgramBench примерно на 10 процентных пунктов, но обычно стоят в 3–7 раз дороже. Важно, что делегирование только этапов исследования и планирования может дать ту же производительность, что и делегирование планирования, реализации и верификации вместе, примерно за половину стоимости — например, лид Sol с 16 дешёвыми планировщиками Luna достиг 61.8% против 63.2% у команды только на Sol при снижении затрат с $510 до $155; работа также рассматривает последние крупные проекты с командами агентов (Claude, Cursor, Bun).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Контролируемое исследование команд кодирующих агентов показывает, что хорошо организованные многоагентные системы могут опережать одиночные агенты на ProgramBench примерно на 10 процентных пунктов, но обычно стоят в 3–7 раз дороже.
- Важно, что делегирование только этапов исследования и планирования может дать ту же производительность, что и делегирование планирования, реализации и верификации вместе, примерно за половину стоимости — например, лид Sol с 16 дешёвыми планировщиками Luna достиг 61.8% против 63.2% у команды только на Sol при снижении затрат с $510 до $155; работа также рассматривает последние крупные проекты с командами агентов (Claude, Cursor, Bun).
- Исследование показывает, куда целесообразно направлять вычислительные ресурсы в командах агентов, давая практические рекомендации для достижения близкой к предельной производительности при значительно меньших затратах.
ПОЧЕМУ ЭТО ВАЖНО
Исследование показывает, куда целесообразно направлять вычислительные ресурсы в командах агентов, давая практические рекомендации для достижения близкой к предельной производительности при значительно меньших затратах.