SpaRLax: разреженная RL‑релаксация улучшает soft Chain-of-Thought рассуждения
В статье на arXiv (2610.27220v1) предложен SpaRLax — метод разреженной релаксации для RL‑подобного обучения soft Chain‑of‑Thought (soft‑CoT). SpaRLax применяет entmax для адаптивного управления разреженностью, что позволяет пропускать градиенты через soft‑токены во времени; авторы сообщают наивысший средний результат по сравнению с базовыми методами на девяти бенчмарках по рассуждению и показывают вклад адаптивной разреженности и суперпозиции soft‑токенов.