WordInferBench: бенчмарк проверяет, умеют ли агенты выводить правки в Word по контексту
WordInferBench — новый бенчмарк из 280 случаев редактирования документов Word, каждый вариант представлен в трех типах инструкций — описательной, референциальной и инференциальной — и сконструирован так, чтобы целевое форматирование можно было восстановить по примеру в документе. Авторы протестировали шесть современных coding‑агентов (данные взяты из реальных Word‑файлов через Common Crawl) и сообщают, что лучший из них, Claude Code с Opus 4.6, показывает 62.9% успеха для описательных инструкций, но только 40.7% для инференциальных, что указывает на значимый провал при выводе форматирования по контексту.