ИНВЕСТИЦИИ · COMPANIES · #1094
NVIDIA DSX MaxLPS увеличивает число доступных GPU и пропускную способность ИИ через политику распределения питания
В совместной оценке с Nscale NVIDIA DSX MaxLPS с политикой перераспределения питания на системах GB300 NVL72 в кампусе Verne позволил оперировать 192 GPU при том же выделенном энергобюджете 264,4 кВт вместо статичных 140 GPU, увеличив нормализованную совокупную пропускную способность на 49,2% (tokens/s/W с 4,10 до 6,12). Медианная и P75 латентности остались в пределах 5% от базовой, но P99 времени до первого токена вырос на 17%; NVIDIA рекомендует пятиэтапный процесс валидации перед массовым развёртыванием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В совместной оценке с Nscale NVIDIA DSX MaxLPS с политикой перераспределения питания на системах GB300 NVL72 в кампусе Verne позволил оперировать 192 GPU при том же выделенном энергобюджете 264,4 кВт вместо статичных 140 GPU, увеличив нормализованную совокупную пропускную способность на 49,2% (tokens/s/W с 4,10 до 6,12).
- Медианная и P75 латентности остались в пределах 5% от базовой, но P99 времени до первого токена вырос на 17%; NVIDIA рекомендует пятиэтапный процесс валидации перед массовым развёртыванием.
- Это показывает практический способ увеличить ёмкость ИИ-объекта в рамках существующего энергобюджета за счёт перераспределения неиспользуемой мощности и подчёркивает необходимость проверки компромиссов по хвостовой задержке.
ПОЧЕМУ ЭТО ВАЖНО
Это показывает практический способ увеличить ёмкость ИИ-объекта в рамках существующего энергобюджета за счёт перераспределения неиспользуемой мощности и подчёркивает необходимость проверки компромиссов по хвостовой задержке.