НОВОСТЬ · COMPANIES · #3785
Amazon SageMaker HyperPod Inference добавляет управляемую поддержку NVIDIA Dynamo
Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией.
- Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.
- Это даёт управляемый, готовый к производству путь масштабирования распределённого вывода LLM с разъединённым prefill/decode и KV‑aware маршрутизацией Dynamo, используя сети и оркестрацию HyperPod, и снижает инженерные затраты при многоузловых развёртках.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт управляемый, готовый к производству путь масштабирования распределённого вывода LLM с разъединённым prefill/decode и KV‑aware маршрутизацией Dynamo, используя сети и оркестрацию HyperPod, и снижает инженерные затраты при многоузловых развёртках.