Amazon SageMaker HyperPod Inference добавляет управляемую поддержку NVIDIA Dynamo
Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.