Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #36120

HyperPod Inference add-on

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod Inference добавляет управляемую поддержку NVIDIA Dynamo

Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.

6.0