НОВОСТЬ · COMPANIES · #2424
NVIDIA официально поддерживает восьминодовые кластеры DGX Spark с 1 ТБ унифицированной памяти для запуска передовых моделей
На GTC Berlin NVIDIA объявила официальную поддержку восьминодовых кластеров DGX Spark с 1 ТБ унифицированной памяти, что позволяет запускать локально передовые модели, включая полный GLM 5.3 (753B) от Z.ai. Компания представила оптимизированный для Spark коллективный бэкенд RoCEnante (включённый в FlashInfer), снижающий задержки all-reduce — по данным NVIDIA, это даёт 4.43× ускорение декодирования на восьми узлах (против 3.05× без него) — и опубликовала бенчмарки (например, Qwen3.8-27B NVFP4: ~12 → 52 токена/сек, GLM 5.3 ≈80 TPS, 7.79× ускорение предподготовки с 97.4% эффективности для nanochat); также отмечены NeMo Switchyard, vLLM и планируемая поддержка восьминодовых кластеров в NVIDIA Sync.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- На GTC Berlin NVIDIA объявила официальную поддержку восьминодовых кластеров DGX Spark с 1 ТБ унифицированной памяти, что позволяет запускать локально передовые модели, включая полный GLM 5.3 (753B) от Z.ai.
- Компания представила оптимизированный для Spark коллективный бэкенд RoCEnante (включённый в FlashInfer), снижающий задержки all-reduce — по данным NVIDIA, это даёт 4.43× ускорение декодирования на восьми узлах (против 3.05× без него) — и опубликовала бенчмарки (например, Qwen3.8-27B NVFP4: ~12 → 52 токена/сек, GLM 5.3 ≈80 TPS, 7.79× ускорение предподготовки с 97.4% эффективности для nanochat); также отмечены NeMo Switchyard, vLLM и планируемая поддержка восьминодовых кластеров в NVIDIA Sync.
- Это расширяет возможности локальной инфраструктуры для запуска и сервирования передовых моделей (до 753B) и демонстрирует практические оптимизации и компромиссы масштабирования для мультиузлового вывода и обучения.
ПОЧЕМУ ЭТО ВАЖНО
Это расширяет возможности локальной инфраструктуры для запуска и сервирования передовых моделей (до 753B) и демонстрирует практические оптимизации и компромиссы масштабирования для мультиузлового вывода и обучения.