ИССЛЕДОВАНИЕ · RESEARCH · #532
Четырехэтапная декомпозиция математического рассуждения LLM; уязвимость к отвлекающим фразам локализована в этапе «планирование операций»
Авторы предлагают, что LLM решают школьные текстовые задачи по математике через четырехэтапный конвейер — Schema Abstraction, Operation Planning, Operand Binding и Computation — причём каждый этап формирует отдельное промежуточное представление в определённых слоях. Анализ отказов показывает, что добавление одной нерелевантной фразы нарушает именно этап Operation Planning, реализованный набором attention‑хедов, роль которых подтверждена каузальными вмешательствами в обоих направлениях.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы предлагают, что LLM решают школьные текстовые задачи по математике через четырехэтапный конвейер — Schema Abstraction, Operation Planning, Operand Binding и Computation — причём каждый этап формирует отдельное промежуточное представление в определённых слоях.
- Анализ отказов показывает, что добавление одной нерелевантной фразы нарушает именно этап Operation Planning, реализованный набором attention‑хедов, роль которых подтверждена каузальными вмешательствами в обоих направлениях.
- Предоставляет конкретную механистическую интерпретацию, указывающую этап и attention‑хеды, ответственные за сбои от отвлекающих фраз, что позволяет целенаправленно работать над интерпретируемостью и устойчивостью LLM в математике.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет конкретную механистическую интерпретацию, указывающую этап и attention‑хеды, ответственные за сбои от отвлекающих фраз, что позволяет целенаправленно работать над интерпретируемостью и устойчивостью LLM в математике.