Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #31781

kernel trick

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

MODELS · 1 ИСТОЧН. · Apple Machine Learning Research

Attention to Mamba: двухэтапный рецепт, превращающий Transformer Pythia-1B в Mamba SSM

Авторы предложили двухэтапную методику перекрестной дистилляции: сначала Transformer дистиллируют в модель с линеаризованным вниманием (с адаптацией через kernel trick), затем — в Mamba-подобную SSM без Attention. Полученная Mamba почти достигает качества учителя Pythia-1B (перплексия 14.01 против 13.86), сопровождается абляциями, анализом масштабирования и законом масштабирования дистилляции для оптимального распределения вычислений.

7.0