Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #17129

FlashInfer

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA официально поддерживает восьминодовые кластеры DGX Spark с 1 ТБ унифицированной памяти для запуска передовых моделей

На GTC Berlin NVIDIA объявила официальную поддержку восьминодовых кластеров DGX Spark с 1 ТБ унифицированной памяти, что позволяет запускать локально передовые модели, включая полный GLM 5.3 (753B) от Z.ai. Компания представила оптимизированный для Spark коллективный бэкенд RoCEnante (включённый в FlashInfer), снижающий задержки all-reduce — по данным NVIDIA, это даёт 4.43× ускорение декодирования на восьми узлах (против 3.05× без него) — и опубликовала бенчмарки (например, Qwen3.8-27B NVFP4: ~12 → 52 токена/сек, GLM 5.3 ≈80 TPS, 7.79× ускорение предподготовки с 97.4% эффективности для nanochat); также отмечены NeMo Switchyard, vLLM и планируемая поддержка восьминодовых кластеров в NVIDIA Sync.

7.0

RESEARCH · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA и Dao AI Lab публикуют ReplaySSM для ускорения декодирования гибридных моделей со SSM

NVIDIA и Dao AI Lab (Принстон) выпустили ReplaySSM (статья на arXiv, код на GitHub) — метод кэширования недавних входов SSM вместо полного состояния, который примерно вдвое сокращает трафик состояния и ускоряет ядра декодирования SSM на ~1.46–1.80× (batch 256 на Blackwell Ultra B300). ReplaySSM также упрощает откат при speculative decoding (пропускная способность выше на 1.85–2.10× для моделей класса 120B) и поддерживает смешанную точность (в 3 из 4 моделей погрешность остаётся в пределах ~2 процентных пунктов от FP32 на GPQA‑Diamond); решение интегрировано в TensorRT‑LLM, vLLM и FlashInfer и используется в продакшене в GLM‑5.3‑Flash и Kimi‑K3.

8.0