Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3785

Amazon SageMaker HyperPod Inference добавляет управляемую поддержку NVIDIA Dynamo

Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией.
  2. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.
  3. Это даёт управляемый, готовый к производству путь масштабирования распределённого вывода LLM с разъединённым prefill/decode и KV‑aware маршрутизацией Dynamo, используя сети и оркестрацию HyperPod, и снижает инженерные затраты при многоузловых развёртках.

ПОЧЕМУ ЭТО ВАЖНО

Это даёт управляемый, готовый к производству путь масштабирования распределённого вывода LLM с разъединённым prefill/decode и KV‑aware маршрутизацией Dynamo, используя сети и оркестрацию HyperPod, и снижает инженерные затраты при многоузловых развёртках.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1