Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3570

Same Task, Different Statement (arXiv:2611.14997v1): когда и как переформулировка помогает LLM решать задачи

Новый препринт на arXiv изучает три типа переформулировок — Decomposition, Typed Reformulation и Concept Reduction — на восьми бенчмарках по математике, логике и коду с восьмью моделями при одинаковом подсказке chain-of-thought. Эффекты большие, но зависят от типа задачи: оракул, выбирающий лучшую переформулировку, повышает точность на +27,6% в среднем; простое обученное правило частично переносит выигрыш (+11,0% на выбранных задачах), тогда как слепая переформулировка может вредить (−5,6% на сопоставимой доле задач).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Новый препринт на arXiv изучает три типа переформулировок — Decomposition, Typed Reformulation и Concept Reduction — на восьми бенчмарках по математике, логике и коду с восьмью моделями при одинаковом подсказке chain-of-thought.
  2. Эффекты большие, но зависят от типа задачи: оракул, выбирающий лучшую переформулировку, повышает точность на +27,6% в среднем; простое обученное правило частично переносит выигрыш (+11,0% на выбранных задачах), тогда как слепая переформулировка может вредить (−5,6% на сопоставимой доле задач).
  3. Статья демонстрирует, что целевая переформулировка заявлений может значительно улучшить рассуждения LLM, но не всегда помогает, что подчёркивает необходимость методов для выбора, когда и как переформулировать.

ПОЧЕМУ ЭТО ВАЖНО

Статья демонстрирует, что целевая переформулировка заявлений может значительно улучшить рассуждения LLM, но не всегда помогает, что подчёркивает необходимость методов для выбора, когда и как переформулировать.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1