Tech Meridian ← К ЛЕНТЕ
EN

ГАЙД · COMPANIES · #205

Amazon SageMaker HyperPod добавляет кеширование моделей для сокращения cold start при инференсе

Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети.
  2. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.
  3. Кеширование моделей снижает задержки и вариативность cold start при масштабных развертываниях SageMaker, улучшая время отклика и предсказуемость эксплуатации.

ПОЧЕМУ ЭТО ВАЖНО

Кеширование моделей снижает задержки и вариативность cold start при масштабных развертываниях SageMaker, улучшая время отклика и предсказуемость эксплуатации.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Reduce inference cold starts on Amazon SageMaker HyperPod with model caching

Amazon SageMaker HyperPod now supports model caching for inference, which pre-loads model weights and container images onto cluster nodes so pods read from local NVMe storage instead of downloading over the network. Learn how model caching cuts cold starts from tens of minutes to seconds, how it works, and how to enable it.

↗