ИССЛЕДОВАНИЕ · RESEARCH · #1238
Принципиальные мысли для латентных рекурсивных LLM — введён REST (arXiv:2609.36159v1)
Новая статья на arXiv (2609.36159v1) описывает четыре режима отказа обучения только по кросс‑энтропии для латентного рассуждения и предлагает REST (REpresentation-Supervised Thoughts) — функцию потерь, вводящую четыре свойства корректных латентных «мыслей» (причинность, минимальность, разделимость, стабильность) поверх CE. REST реализован в однопользовательских и многопользовательских латентных системах без изменений архитектуры при инференсе и даёт до +7.5 процентных пунктов по точности и до 30% ускорение сходимости на семи бенчмарках (математика, наука, медицина, генерация кода).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (2609.36159v1) описывает четыре режима отказа обучения только по кросс‑энтропии для латентного рассуждения и предлагает REST (REpresentation-Supervised Thoughts) — функцию потерь, вводящую четыре свойства корректных латентных «мыслей» (причинность, минимальность, разделимость, стабильность) поверх CE.
- REST реализован в однопользовательских и многопользовательских латентных системах без изменений архитектуры при инференсе и даёт до +7.5 процентных пунктов по точности и до 30% ускорение сходимости на семи бенчмарках (математика, наука, медицина, генерация кода).
- Принудительная структура латентных представлений может повысить точность конечных задач и сделать латентную коммуникацию в одно- и многопользовательских системах более интерпретируемой без изменений моделей при инференсе.
ПОЧЕМУ ЭТО ВАЖНО
Принудительная структура латентных представлений может повысить точность конечных задач и сделать латентную коммуникацию в одно- и многопользовательских системах более интерпретируемой без изменений моделей при инференсе.