kw-bench: бенчмарк для исследовательской аналитики на основе реальной VAT-реконструкции
kw-bench — новый бенчмарк (arXiv:2610.36405v1), построенный на реальных задачах специалистов; первая категория задач — пятилетняя VAT‑реконструкция по данным из трёх поколений SAP, представленных в виде сырых системных выгрузок, с детерминированной оценкой. Авторы запустили четыре харнесса (Claude Code, Codex, OpenCode, micro-cc) на той же модели (DeepSeek v4.1 Flash) в течение двух часов — OpenCode 0.542 и micro-cc 0.528, два лабораторных харнесса вдали от родной модели дали 0.00; в отличие от них micro-cc и Claude Code на Claude Opus 5.5 набрали 0.9986 и 1.000 за 22 и 25 минут, что показывает, что граничные модели сводят задачу к минутам, а ниже фронтира результат сильно зависит от харнесса.