ИССЛЕДОВАНИЕ · RESEARCH · #2517
Исследование: «харнессы» агентов увеличивают токен‑затраты, но редко повышают качество
Исследователи Шаньдунского университета (Лю и Хань) протестировали пять моделей с тремя готовыми «харнессами» (Claude Code, OpenCode, mini-SWE-agent) на SWE-bench Verified и пуле из 447 задач и выяснили, что замена харнесса почти не меняет результаты сверх случайного разброса, тогда как затраты токенов могут увеличиваться в три раза из‑за объёмных системных промптов и повторной передачи контекста. OpenCode отстаёт на большом пуле (частично из‑за ограничения вывода), а многие заявленные преимущества не превышают порогов статистической значимости.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи Шаньдунского университета (Лю и Хань) протестировали пять моделей с тремя готовыми «харнессами» (Claude Code, OpenCode, mini-SWE-agent) на SWE-bench Verified и пуле из 447 задач и выяснили, что замена харнесса почти не меняет результаты сверх случайного разброса, тогда как затраты токенов могут увеличиваться в три раза из‑за объёмных системных промптов и повторной передачи контекста.
- OpenCode отстаёт на большом пуле (частично из‑за ограничения вывода), а многие заявленные преимущества не превышают порогов статистической значимости.
- Это важно, потому что ставит под сомнение сравнения агентных стэков по рейтинговым результатам без учёта флуктуаций и различий в стоимости токенов, а также показывает важный источник скрытых расходов — размер системного промпта.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что ставит под сомнение сравнения агентных стэков по рейтинговым результатам без учёта флуктуаций и различий в стоимости токенов, а также показывает важный источник скрытых расходов — размер системного промпта.