РЕЛИЗ · CODING · #3349
NVIDIA опубликовала Snapshot — чекпоинт и восстановление GPU-ворклоадов для Kubernetes
NVIDIA выпустила Snapshot — открытый компонент платформы DSX AI Factory, который сохраняет состояние полностью инициализированных GPU-ворклоадов (CPU и GPU-память) и восстанавливает их на совместимых узлах, позволяя репликам inference запускаться за секунды вместо минут. Бенчмарки и партнёры (Crusoe, Saturn Cloud) показывают восстановление менее чем за 45 секунд и ускорение в 8–36× по сравнению с холодным стартом для vLLM, SGLang и TensorRT LLM на HGX B300.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA выпустила Snapshot — открытый компонент платформы DSX AI Factory, который сохраняет состояние полностью инициализированных GPU-ворклоадов (CPU и GPU-память) и восстанавливает их на совместимых узлах, позволяя репликам inference запускаться за секунды вместо минут.
- Бенчмарки и партнёры (Crusoe, Saturn Cloud) показывают восстановление менее чем за 45 секунд и ускорение в 8–36× по сравнению с холодным стартом для vLLM, SGLang и TensorRT LLM на HGX B300.
- Snapshot существенно снижает задержки холодного старта при развёртывании LLM, что ускоряет автошкалиование и повышает загрузку GPU в продуктивных кластерах.
ПОЧЕМУ ЭТО ВАЖНО
Snapshot существенно снижает задержки холодного старта при развёртывании LLM, что ускоряет автошкалиование и повышает загрузку GPU в продуктивных кластерах.