Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #10855

Mamba-2

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

MODELS · 1 ИСТОЧН. · AWS Machine Learning

NVIDIA Nemotron 3.5 Super VL доступна в Amazon SageMaker JumpStart

Модель NVIDIA Nemotron 3.5 Super VL — гибридная MoE мультимодальная модель на 120 миллиардов параметров (12B активных), с визуальным энкодером C-RADIO, поддержкой контекста до 1 млн токенов и MTP-головой — теперь доступна в Amazon SageMaker JumpStart. В JumpStart доступны квантизованный вариант NVFP4 для оптимизированного вывода и полноточный BF16, который можно скачать для дообучения и кастомизации; в статье также приводятся измерения производительности и варианты развёртывания на AWS.

7.0

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA cuTile и Jane Street оптимизировали прямой проход Mamba‑2 тремя ядрами для Tensor Core

Jane Street реализовала модель последовательностей Mamba‑2 с использованием Python‑DSL NVIDIA CUDA Tile (cuTile) и совместно с NVIDIA оптимизировала три пользовательских ядра прямого прохода — chunk_cumsum, fwd_pass_state и compute_out — под Tensor Core. Оптимизации включают тильную реализацию в регистрах с приведением к TF32, подсказки задержки DRAM, маршрутизацию операндов в Tensor Memory, макеты памяти, удобные для TMA, и автотюнер параметров блоков и загрузки для каждой формы входа.

6.0

RESEARCH · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA и Dao AI Lab публикуют ReplaySSM для ускорения декодирования гибридных моделей со SSM

NVIDIA и Dao AI Lab (Принстон) выпустили ReplaySSM (статья на arXiv, код на GitHub) — метод кэширования недавних входов SSM вместо полного состояния, который примерно вдвое сокращает трафик состояния и ускоряет ядра декодирования SSM на ~1.46–1.80× (batch 256 на Blackwell Ultra B300). ReplaySSM также упрощает откат при speculative decoding (пропускная способность выше на 1.85–2.10× для моделей класса 120B) и поддерживает смешанную точность (в 3 из 4 моделей погрешность остаётся в пределах ~2 процентных пунктов от FP32 на GPQA‑Diamond); решение интегрировано в TensorRT‑LLM, vLLM и FlashInfer и используется в продакшене в GLM‑5.3‑Flash и Kimi‑K3.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SMat-Attention: структурированные причинные маски с регулировкой сложности маршрутизации и эффективности

В препринте на arXiv предложена Structured Matrix Attention (SMat-Attention) — семейство причинных масок внимания с опорными строками заданной VC-меры d, где d=1 даёт стандартную причинную маску, а большие d разрешают более богатую маршрутизацию подмножеств. Авторы приводят покадровые алгоритмы для эффективности на железе, доказывают субквадратичную сложность предзагрузки O(T^{2-3/d}+T) для заданного семейства и константное время декодирования на токен после удалённого префикса с O(T^{1-1/d}) кешированных состояний в потоке с фиксированным горизонтом, а также показывают эксперименты и расширения с обучаемой маршрутизацией для Mamba-2 и Gated DeltaNet с улучшенной точностью вспоминания и сопоставимыми результатами на малых языковых моделях.

7.0