ИССЛЕДОВАНИЕ · RESEARCH · #2312
SpaRLax: разреженная RL‑релаксация улучшает soft Chain-of-Thought рассуждения
В статье на arXiv (2610.27220v1) предложен SpaRLax — метод разреженной релаксации для RL‑подобного обучения soft Chain‑of‑Thought (soft‑CoT). SpaRLax применяет entmax для адаптивного управления разреженностью, что позволяет пропускать градиенты через soft‑токены во времени; авторы сообщают наивысший средний результат по сравнению с базовыми методами на девяти бенчмарках по рассуждению и показывают вклад адаптивной разреженности и суперпозиции soft‑токенов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv (2610.27220v1) предложен SpaRLax — метод разреженной релаксации для RL‑подобного обучения soft Chain‑of‑Thought (soft‑CoT).
- SpaRLax применяет entmax для адаптивного управления разреженностью, что позволяет пропускать градиенты через soft‑токены во времени; авторы сообщают наивысший средний результат по сравнению с базовыми методами на девяти бенчмарках по рассуждению и показывают вклад адаптивной разреженности и суперпозиции soft‑токенов.
- Возможность дифференцируемого рассуждения через soft‑токены с адаптивной разреженностью позволяет распространять градиенты между шагами и уменьшать «длиннохвостой» шум, что делает обучение стабильнее и улучшает качество рассуждений LLM.
ПОЧЕМУ ЭТО ВАЖНО
Возможность дифференцируемого рассуждения через soft‑токены с адаптивной разреженностью позволяет распространять градиенты между шагами и уменьшать «длиннохвостой» шум, что делает обучение стабильнее и улучшает качество рассуждений LLM.