Статья представляет Harness-Delta Attribution (HDA) для анализа прироста от эволюции harness
В arXiv:2610.22466v1 предложен протокол оценки Harness-Delta Attribution (HDA), который разлагает прирост производительности от эволюции harness на артефактное переобучение, масштабирование во время инференса и остаток — верхнюю границу потенциально обобщаемого улучшения. Применённый к 11 исполнителям моделей и трём фреймворкам эволюции harness по задачам математики, программирования, творчества и агентности, анализ показывает, что переобучение и масштабирование при инференсе объясняют большую долю прироста (в среднем 54% и 14%), что приросты часто не переносятся на отложенные задачи и что одних сигналов валидации недостаточно для предотвращения переобучения.