Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #29353

NVFP4 KV cache

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

MODELS · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA описывает NVFP4, платформу Vera Rubin и пять совместных решений для ускорения ИИ и оптимизации KV‑кэша

В блоге NVIDIA сообщает, что использует пять совместно проработанных решений — 4‑битный формат NVFP4, широкую экспертную параллелизацию в TensorRT‑LLM, Dynamo (флот‑ориентированную маршрутизацию KV‑кэша и KV Cache Runner), процессор Vera с интерконнектом Rubin и слой хранения CMX — чтобы освободить HBM, повысить арифметическую интенсивность и увеличить пропускную способность для agentic‑инференса. NVIDIA утверждает, что NVFP4 уменьшает объём модели примерно в 3,5 раза по сравнению с FP16 (1,8× по сравнению с FP8), NVFP4 KV‑кэш сокращает объём кэша вдвое по сравнению с FP8 и что Vera Rubin NVL72 обеспечивает до 30× пропускной способности на мегаватт по сравнению с GB300 NVL72 в агентном бенчмарке.

8.0