НОВОСТЬ · COMPANIES · #3675
NVIDIA Vera Rubin NVL72 лидирует в MLPerf Endpoints v1.0 по агентной инференции — более чем в 10× по пропускной способности/кВт по сравнению с GB300 (предварительно)
Предварительные результаты MLPerf Endpoints v1.0 показывают, что система NVIDIA Vera Rubin NVL72 обеспечивает более чем в 10× большую пропускную способность на киловатт по сравнению с NVIDIA GB300 NVL72 при общем минимальном уровне интерактивности 50 токенов/с на пользователя; для моделей Kimi K3, DeepSeek‑V4.1‑Flash и Qwen3.6‑35B‑A3B система Vera Rubin достигает в 5–10× большей пропускной способности/кВт и в 3–5× большей сквозной интерактивности при сопоставимой конкуренции. NVIDIA указывает на сочетание аппаратных улучшений (HBM4, Tensor Cores, шестое поколение NVLink), контекстно‑осведомленного сервинга (кеширование префиксов, повторное использование состояния, маршрутизация Dynamo) и модельных ядер; результаты Vera Rubin предварительные и подлежат проверке MLCommons.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Предварительные результаты MLPerf Endpoints v1.0 показывают, что система NVIDIA Vera Rubin NVL72 обеспечивает более чем в 10× большую пропускную способность на киловатт по сравнению с NVIDIA GB300 NVL72 при общем минимальном уровне интерактивности 50 токенов/с на пользователя; для моделей Kimi K3, DeepSeek‑V4.1‑Flash и Qwen3.6‑35B‑A3B система Vera Rubin достигает в 5–10× большей пропускной способности/кВт и в 3–5× большей сквозной интерактивности при сопоставимой конкуренции.
- NVIDIA указывает на сочетание аппаратных улучшений (HBM4, Tensor Cores, шестое поколение NVLink), контекстно‑осведомленного сервинга (кеширование префиксов, повторное использование состояния, маршрутизация Dynamo) и модельных ядер; результаты Vera Rubin предварительные и подлежат проверке MLCommons.
- В случае подтверждения существенно большая пропускная способность на киловатт у Vera Rubin NVL72 может заметно снизить энергозатраты и увеличить масштабируемость и отзывчивость агентных развёртываний для компаний и облачных провайдеров.
ПОЧЕМУ ЭТО ВАЖНО
В случае подтверждения существенно большая пропускная способность на киловатт у Vera Rubin NVL72 может заметно снизить энергозатраты и увеличить масштабируемость и отзывчивость агентных развёртываний для компаний и облачных провайдеров.