ИССЛЕДОВАНИЕ · RESEARCH · #1882
NVIDIA и Dao AI Lab публикуют ReplaySSM для ускорения декодирования гибридных моделей со SSM
NVIDIA и Dao AI Lab (Принстон) выпустили ReplaySSM (статья на arXiv, код на GitHub) — метод кэширования недавних входов SSM вместо полного состояния, который примерно вдвое сокращает трафик состояния и ускоряет ядра декодирования SSM на ~1.46–1.80× (batch 256 на Blackwell Ultra B300). ReplaySSM также упрощает откат при speculative decoding (пропускная способность выше на 1.85–2.10× для моделей класса 120B) и поддерживает смешанную точность (в 3 из 4 моделей погрешность остаётся в пределах ~2 процентных пунктов от FP32 на GPQA‑Diamond); решение интегрировано в TensorRT‑LLM, vLLM и FlashInfer и используется в продакшене в GLM‑5.3‑Flash и Kimi‑K3.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA и Dao AI Lab (Принстон) выпустили ReplaySSM (статья на arXiv, код на GitHub) — метод кэширования недавних входов SSM вместо полного состояния, который примерно вдвое сокращает трафик состояния и ускоряет ядра декодирования SSM на ~1.46–1.80× (batch 256 на Blackwell Ultra B300).
- ReplaySSM также упрощает откат при speculative decoding (пропускная способность выше на 1.85–2.10× для моделей класса 120B) и поддерживает смешанную точность (в 3 из 4 моделей погрешность остаётся в пределах ~2 процентных пунктов от FP32 на GPQA‑Diamond); решение интегрировано в TensorRT‑LLM, vLLM и FlashInfer и используется в продакшене в GLM‑5.3‑Flash и Kimi‑K3.
- Делает SSM‑ориентированные гибридные модели быстрее и экономичнее по памяти на уровне сервинга, восстанавливая работоспособность speculative decoding и практичную квантизацию для продакшен‑инференса.
ПОЧЕМУ ЭТО ВАЖНО
Делает SSM‑ориентированные гибридные модели быстрее и экономичнее по памяти на уровне сервинга, восстанавливая работоспособность speculative decoding и практичную квантизацию для продакшен‑инференса.