Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · MODELS · #3149

NVIDIA описывает NVFP4, платформу Vera Rubin и пять совместных решений для ускорения ИИ и оптимизации KV‑кэша

В блоге NVIDIA сообщает, что использует пять совместно проработанных решений — 4‑битный формат NVFP4, широкую экспертную параллелизацию в TensorRT‑LLM, Dynamo (флот‑ориентированную маршрутизацию KV‑кэша и KV Cache Runner), процессор Vera с интерконнектом Rubin и слой хранения CMX — чтобы освободить HBM, повысить арифметическую интенсивность и увеличить пропускную способность для agentic‑инференса. NVIDIA утверждает, что NVFP4 уменьшает объём модели примерно в 3,5 раза по сравнению с FP16 (1,8× по сравнению с FP8), NVFP4 KV‑кэш сокращает объём кэша вдвое по сравнению с FP8 и что Vera Rubin NVL72 обеспечивает до 30× пропускной способности на мегаватт по сравнению с GB300 NVL72 в агентном бенчмарке.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В блоге NVIDIA сообщает, что использует пять совместно проработанных решений — 4‑битный формат NVFP4, широкую экспертную параллелизацию в TensorRT‑LLM, Dynamo (флот‑ориентированную маршрутизацию KV‑кэша и KV Cache Runner), процессор Vera с интерконнектом Rubin и слой хранения CMX — чтобы освободить HBM, повысить арифметическую интенсивность и увеличить пропускную способность для agentic‑инференса.
  2. NVIDIA утверждает, что NVFP4 уменьшает объём модели примерно в 3,5 раза по сравнению с FP16 (1,8× по сравнению с FP8), NVFP4 KV‑кэш сокращает объём кэша вдвое по сравнению с FP8 и что Vera Rubin NVL72 обеспечивает до 30× пропускной способности на мегаватт по сравнению с GB300 NVL72 в агентном бенчмарке.
  3. Если эти решения подтвердятся на практике, они могут значительно повысить эффективность масштабного и agentic‑инференса за счёт освобождения дорогостоящей HBM для KV‑кэша, сокращения копий памяти и увеличения параллелизма и арифметической интенсивности.

ПОЧЕМУ ЭТО ВАЖНО

Если эти решения подтвердятся на практике, они могут значительно повысить эффективность масштабного и agentic‑инференса за счёт освобождения дорогостоящей HBM для KV‑кэша, сокращения копий памяти и увеличения параллелизма и арифметической интенсивности.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1