Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

РЕЛИЗ · CODING · #3349

NVIDIA опубликовала Snapshot — чекпоинт и восстановление GPU-ворклоадов для Kubernetes

NVIDIA выпустила Snapshot — открытый компонент платформы DSX AI Factory, который сохраняет состояние полностью инициализированных GPU-ворклоадов (CPU и GPU-память) и восстанавливает их на совместимых узлах, позволяя репликам inference запускаться за секунды вместо минут. Бенчмарки и партнёры (Crusoe, Saturn Cloud) показывают восстановление менее чем за 45 секунд и ускорение в 8–36× по сравнению с холодным стартом для vLLM, SGLang и TensorRT LLM на HGX B300.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. NVIDIA выпустила Snapshot — открытый компонент платформы DSX AI Factory, который сохраняет состояние полностью инициализированных GPU-ворклоадов (CPU и GPU-память) и восстанавливает их на совместимых узлах, позволяя репликам inference запускаться за секунды вместо минут.
  2. Бенчмарки и партнёры (Crusoe, Saturn Cloud) показывают восстановление менее чем за 45 секунд и ускорение в 8–36× по сравнению с холодным стартом для vLLM, SGLang и TensorRT LLM на HGX B300.
  3. Snapshot существенно снижает задержки холодного старта при развёртывании LLM, что ускоряет автошкалиование и повышает загрузку GPU в продуктивных кластерах.

ПОЧЕМУ ЭТО ВАЖНО

Snapshot существенно снижает задержки холодного старта при развёртывании LLM, что ускоряет автошкалиование и повышает загрузку GPU в продуктивных кластерах.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1