Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИНВЕСТИЦИИ · MODELS · #3374

Attention to Mamba: двухэтапный рецепт, превращающий Transformer Pythia-1B в Mamba SSM

Авторы предложили двухэтапную методику перекрестной дистилляции: сначала Transformer дистиллируют в модель с линеаризованным вниманием (с адаптацией через kernel trick), затем — в Mamba-подобную SSM без Attention. Полученная Mamba почти достигает качества учителя Pythia-1B (перплексия 14.01 против 13.86), сопровождается абляциями, анализом масштабирования и законом масштабирования дистилляции для оптимального распределения вычислений.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Авторы предложили двухэтапную методику перекрестной дистилляции: сначала Transformer дистиллируют в модель с линеаризованным вниманием (с адаптацией через kernel trick), затем — в Mamba-подобную SSM без Attention.
  2. Полученная Mamba почти достигает качества учителя Pythia-1B (перплексия 14.01 против 13.86), сопровождается абляциями, анализом масштабирования и законом масштабирования дистилляции для оптимального распределения вычислений.
  3. Это даёт практический рецепт и инициализацию для переноса широко доступных pretrained Transformer в Mamba SSM с близким к учителю качеством и советы по оптимальному распределению вычислений при дистилляции.

ПОЧЕМУ ЭТО ВАЖНО

Это даёт практический рецепт и инициализацию для переноса широко доступных pretrained Transformer в Mamba SSM с близким к учителю качеством и советы по оптимальному распределению вычислений при дистилляции.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1