Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #10856

Gated DeltaNet

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · Hugging Face

StateBench: бенчмарк для отслеживания изменения состояний в длинных документах для LLM

StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SMat-Attention: структурированные причинные маски с регулировкой сложности маршрутизации и эффективности

В препринте на arXiv предложена Structured Matrix Attention (SMat-Attention) — семейство причинных масок внимания с опорными строками заданной VC-меры d, где d=1 даёт стандартную причинную маску, а большие d разрешают более богатую маршрутизацию подмножеств. Авторы приводят покадровые алгоритмы для эффективности на железе, доказывают субквадратичную сложность предзагрузки O(T^{2-3/d}+T) для заданного семейства и константное время декодирования на токен после удалённого префикса с O(T^{1-1/d}) кешированных состояний в потоке с фиксированным горизонтом, а также показывают эксперименты и расширения с обучаемой маршрутизацией для Mamba-2 и Gated DeltaNet с улучшенной точностью вспоминания и сопоставимыми результатами на малых языковых моделях.

7.0