Tech Meridian ← К СУЩНОСТЯМ
EN

КОМПАНИЯ · ENTITY #715

Amazon SageMaker HyperPod

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod добавляет кеширование моделей для сокращения cold start при инференсе

Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.

7.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Развёртывание Qwen3.8-2.4T-A95B на Amazon SageMaker HyperPod с vLLM

AWS Machine Learning опубликовал пошаговую инструкцию по развёртыванию Qwen3.8-2.4T-A95B — открытой модели с 2,4 триллионами параметров — на Amazon SageMaker HyperPod с использованием vLLM. Руководство описывает подготовку кластера, NVFP4-квантизацию и создание совместимого с OpenAI эндпоинта с встроенным рассуждением, вызовом инструментов и нативным MTP speculative decoding.

7.0