Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #5477

State Space Models (SSMs)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

О важности гейтинга: как гейтинг влияет на запоминание и обучение в контексте в SSM

Авторы теоретически и экспериментально демонстрируют, что гейтинговый механизм в state space models (SSM) часто приводит к решению через «запоминание в весах», задерживает или даже предотвращает сход к корректному обучению в контексте, но при этом иногда улучшает обобщение на более длинные последовательности. Статья анализирует, как гейтинг формирует динамику обучения и способность к обобщению SSM с линейным временем работы.

7.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Cartesia показывает SSM‑модели Sonic и Ink для потокового голоса с задержкой <100 мс на AWS

В публикации AWS рассказывается, как партнёр AWS Cartesia использует модели состояния (SSM) и инфраструктуру AWS для запуска двух производственных потоковых голосовых моделей — Sonic (TTS) и Ink (STT) — оптимизированных для задержки первого байта менее 100 мс и глобального масштаба. Sonic представлен как потоковый TTS с примерно 90 мс до первого аудиобайта и поддержкой множества языков и клонирования голоса; Ink описан как потоковый STT с встроенным обнаружением пауз говорящего для разговорных сценариев.

6.0

MODELS · 1 ИСТОЧН. · Apple Machine Learning Research

Attention to Mamba: двухэтапный рецепт, превращающий Transformer Pythia-1B в Mamba SSM

Авторы предложили двухэтапную методику перекрестной дистилляции: сначала Transformer дистиллируют в модель с линеаризованным вниманием (с адаптацией через kernel trick), затем — в Mamba-подобную SSM без Attention. Полученная Mamba почти достигает качества учителя Pythia-1B (перплексия 14.01 против 13.86), сопровождается абляциями, анализом масштабирования и законом масштабирования дистилляции для оптимального распределения вычислений.

7.0

MODELS · 1 ИСТОЧН. · arXiv cs.AI

DSRec: модель с двойными интересами и кросс-SSM для последовательных рекомендаций

В статье arXiv:2609.21548v1 предложена DSRec — архитектура с двойными интересами и кросс-SSM, которая разделяет долгосрочные и краткосрочные роли товаров: долгосрочные интересы кодируются и обрабатываются полносеквенным SSM Mamba, краткосрочные — временем-модулируемым SSM, а резидуальная кросс-фузия согласует ветви; эксперименты на публичных бенчмарках показывают улучшение по сравнению с предшественниками.

5.0