Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #32486

Emmanuel Abbe

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

О важности гейтинга: как гейтинг влияет на запоминание и обучение в контексте в SSM

Авторы теоретически и экспериментально демонстрируют, что гейтинговый механизм в state space models (SSM) часто приводит к решению через «запоминание в весах», задерживает или даже предотвращает сход к корректному обучению в контексте, но при этом иногда улучшает обобщение на более длинные последовательности. Статья анализирует, как гейтинг формирует динамику обучения и способность к обобщению SSM с линейным временем работы.

7.0

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Weighted State Souping для эффективного поиска в длинном контексте (PALM @ NeurIPS 2026)

В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM). Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.

7.0