ИССЛЕДОВАНИЕ · RESEARCH · #3563
WordInferBench: бенчмарк проверяет, умеют ли агенты выводить правки в Word по контексту
WordInferBench — новый бенчмарк из 280 случаев редактирования документов Word, каждый вариант представлен в трех типах инструкций — описательной, референциальной и инференциальной — и сконструирован так, чтобы целевое форматирование можно было восстановить по примеру в документе. Авторы протестировали шесть современных coding‑агентов (данные взяты из реальных Word‑файлов через Common Crawl) и сообщают, что лучший из них, Claude Code с Opus 4.6, показывает 62.9% успеха для описательных инструкций, но только 40.7% для инференциальных, что указывает на значимый провал при выводе форматирования по контексту.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- WordInferBench — новый бенчмарк из 280 случаев редактирования документов Word, каждый вариант представлен в трех типах инструкций — описательной, референциальной и инференциальной — и сконструирован так, чтобы целевое форматирование можно было восстановить по примеру в документе.
- Авторы протестировали шесть современных coding‑агентов (данные взяты из реальных Word‑файлов через Common Crawl) и сообщают, что лучший из них, Claude Code с Opus 4.6, показывает 62.9% успеха для описательных инструкций, но только 40.7% для инференциальных, что указывает на значимый провал при выводе форматирования по контексту.
- Это количественно фиксирует существенный пробел в умении современных агентов выводить атрибуты редактирования по контексту документа и предоставляет воспроизводимый датасет для измерения и улучшения таких возможностей.
ПОЧЕМУ ЭТО ВАЖНО
Это количественно фиксирует существенный пробел в умении современных агентов выводить атрибуты редактирования по контексту документа и предоставляет воспроизводимый датасет для измерения и улучшения таких возможностей.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2611.15189v1 Announce Type: new Abstract: Document editing is among the most common knowledge-work tasks, yet existing benchmarks for evaluating autonomous agents on Word document editing provide fully specified attribute-modification instructions. They do not evaluate agents' ability to infer the appropriate attributes from document context, a capability essential in real-world editing where users expect consi…
arXiv:2611.15049v1 Announce Type: new Abstract: Humanity has long sought to explain natural phenomena. Reliable prediction of experimental outcomes is a central test of our understanding of the processes that produce them. If artificial general intelligence (AGI) is to surpass human scientific capabilities, it must also predict experimental outcomes more reliably than humans. Such capabilities could accelerate scient…
arXiv:2611.14949v1 Announce Type: new Abstract: Identifying and solving partial differential equations (PDEs) from sampled solution data often requires substantial expert effort in equation discovery, coefficient estimation, and numerical solver configuration, especially under noise and distribution shifts. Can large language model (LLM) agents automate this workflow accurately and efficiently? To investigate this qu…