ИССЛЕДОВАНИЕ · RESEARCH · #2696
kw-bench: бенчмарк для исследовательской аналитики на основе реальной VAT-реконструкции
kw-bench — новый бенчмарк (arXiv:2610.36405v1), построенный на реальных задачах специалистов; первая категория задач — пятилетняя VAT‑реконструкция по данным из трёх поколений SAP, представленных в виде сырых системных выгрузок, с детерминированной оценкой. Авторы запустили четыре харнесса (Claude Code, Codex, OpenCode, micro-cc) на той же модели (DeepSeek v4.1 Flash) в течение двух часов — OpenCode 0.542 и micro-cc 0.528, два лабораторных харнесса вдали от родной модели дали 0.00; в отличие от них micro-cc и Claude Code на Claude Opus 5.5 набрали 0.9986 и 1.000 за 22 и 25 минут, что показывает, что граничные модели сводят задачу к минутам, а ниже фронтира результат сильно зависит от харнесса.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- kw-bench — новый бенчмарк (arXiv:2610.36405v1), построенный на реальных задачах специалистов; первая категория задач — пятилетняя VAT‑реконструкция по данным из трёх поколений SAP, представленных в виде сырых системных выгрузок, с детерминированной оценкой.
- Авторы запустили четыре харнесса (Claude Code, Codex, OpenCode, micro-cc) на той же модели (DeepSeek v4.1 Flash) в течение двух часов — OpenCode 0.542 и micro-cc 0.528, два лабораторных харнесса вдали от родной модели дали 0.00; в отличие от них micro-cc и Claude Code на Claude Opus 5.5 набрали 0.9986 и 1.000 за 22 и 25 минут, что показывает, что граничные модели сводят задачу к минутам, а ниже фронтира результат сильно зависит от харнесса.
- Это важно, потому что kw-bench нацеливается на дорогостоящую исследовательскую часть знаний и с детерминированной оценкой показывает, что граничные модели вместе с эффективными харнессами могут сокращать недельные проекты до минут, что меняет подход к оценке и внедрению в реальных задачах.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что kw-bench нацеливается на дорогостоящую исследовательскую часть знаний и с детерминированной оценкой показывает, что граничные модели вместе с эффективными харнессами могут сокращать недельные проекты до минут, что меняет подход к оценке и внедрению в реальных задачах.