ИССЛЕДОВАНИЕ · RESEARCH · #1356
Статья: кодирующие агенты с минимальным «ремнём» сопоставимы со сложными системами для автономного MLE
Авторы исследуют автономные агенты для ML-инжиниринга и сообщают, что при одинаковом лимите времени и одинаковом передовом LLM-бэкенде открытые многоагентные «ремни» не дают преимущества перед односеансовым базовым кодирующим агентом с минимальным «ремнём». Крупномасштабные аблационные исследования показывают, что дополнительные слои оркестрации избыточны в установке кодирующего агента, что указывает на ключевую роль бэкенд-модели в текущих результатах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы исследуют автономные агенты для ML-инжиниринга и сообщают, что при одинаковом лимите времени и одинаковом передовом LLM-бэкенде открытые многоагентные «ремни» не дают преимущества перед односеансовым базовым кодирующим агентом с минимальным «ремнём».
- Крупномасштабные аблационные исследования показывают, что дополнительные слои оркестрации избыточны в установке кодирующего агента, что указывает на ключевую роль бэкенд-модели в текущих результатах.
- Результат ставит под сомнение пользу всё более сложных «ремней» и указывает, что усилия лучше направить на улучшение LLM-бэкенда и примитивов кодирующих агентов для текущих MLE-бенчмарков.
ПОЧЕМУ ЭТО ВАЖНО
Результат ставит под сомнение пользу всё более сложных «ремней» и указывает, что усилия лучше направить на улучшение LLM-бэкенда и примитивов кодирующих агентов для текущих MLE-бенчмарков.