ИССЛЕДОВАНИЕ · RESEARCH · #2183
Статья представляет Harness-Delta Attribution (HDA) для анализа прироста от эволюции harness
В arXiv:2610.22466v1 предложен протокол оценки Harness-Delta Attribution (HDA), который разлагает прирост производительности от эволюции harness на артефактное переобучение, масштабирование во время инференса и остаток — верхнюю границу потенциально обобщаемого улучшения. Применённый к 11 исполнителям моделей и трём фреймворкам эволюции harness по задачам математики, программирования, творчества и агентности, анализ показывает, что переобучение и масштабирование при инференсе объясняют большую долю прироста (в среднем 54% и 14%), что приросты часто не переносятся на отложенные задачи и что одних сигналов валидации недостаточно для предотвращения переобучения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В arXiv:2610.22466v1 предложен протокол оценки Harness-Delta Attribution (HDA), который разлагает прирост производительности от эволюции harness на артефактное переобучение, масштабирование во время инференса и остаток — верхнюю границу потенциально обобщаемого улучшения.
- Применённый к 11 исполнителям моделей и трём фреймворкам эволюции harness по задачам математики, программирования, творчества и агентности, анализ показывает, что переобучение и масштабирование при инференсе объясняют большую долю прироста (в среднем 54% и 14%), что приросты часто не переносятся на отложенные задачи и что одних сигналов валидации недостаточно для предотвращения переобучения.
- Поскольку эволюция harness применяется для улучшения агентных систем без изменения весов модели, HDA показывает, что значительная часть заявленного улучшения может быть следствием переобучения или дополнительных вычислений при инференсе, поэтому нужны оценки с учётом атрибуции.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку эволюция harness применяется для улучшения агентных систем без изменения весов модели, HDA показывает, что значительная часть заявленного улучшения может быть следствием переобучения или дополнительных вычислений при инференсе, поэтому нужны оценки с учётом атрибуции.