ИССЛЕДОВАНИЕ · RESEARCH · #3570
Same Task, Different Statement (arXiv:2611.14997v1): когда и как переформулировка помогает LLM решать задачи
Новый препринт на arXiv изучает три типа переформулировок — Decomposition, Typed Reformulation и Concept Reduction — на восьми бенчмарках по математике, логике и коду с восьмью моделями при одинаковом подсказке chain-of-thought. Эффекты большие, но зависят от типа задачи: оракул, выбирающий лучшую переформулировку, повышает точность на +27,6% в среднем; простое обученное правило частично переносит выигрыш (+11,0% на выбранных задачах), тогда как слепая переформулировка может вредить (−5,6% на сопоставимой доле задач).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новый препринт на arXiv изучает три типа переформулировок — Decomposition, Typed Reformulation и Concept Reduction — на восьми бенчмарках по математике, логике и коду с восьмью моделями при одинаковом подсказке chain-of-thought.
- Эффекты большие, но зависят от типа задачи: оракул, выбирающий лучшую переформулировку, повышает точность на +27,6% в среднем; простое обученное правило частично переносит выигрыш (+11,0% на выбранных задачах), тогда как слепая переформулировка может вредить (−5,6% на сопоставимой доле задач).
- Статья демонстрирует, что целевая переформулировка заявлений может значительно улучшить рассуждения LLM, но не всегда помогает, что подчёркивает необходимость методов для выбора, когда и как переформулировать.
ПОЧЕМУ ЭТО ВАЖНО
Статья демонстрирует, что целевая переформулировка заявлений может значительно улучшить рассуждения LLM, но не всегда помогает, что подчёркивает необходимость методов для выбора, когда и как переформулировать.