Исследование: «харнессы» агентов увеличивают токен‑затраты, но редко повышают качество
Исследователи Шаньдунского университета (Лю и Хань) протестировали пять моделей с тремя готовыми «харнессами» (Claude Code, OpenCode, mini-SWE-agent) на SWE-bench Verified и пуле из 447 задач и выяснили, что замена харнесса почти не меняет результаты сверх случайного разброса, тогда как затраты токенов могут увеличиваться в три раза из‑за объёмных системных промптов и повторной передачи контекста. OpenCode отстаёт на большом пуле (частично из‑за ограничения вывода), а многие заявленные преимущества не превышают порогов статистической значимости.