Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · MODELS · #4017

Amazon SageMaker HyperPod запускает Global Inference Gateway для маршрутизации между кластерами и регионами

Amazon представила Global Inference Gateway для SageMaker HyperPod — управляемый SageMaker шлюз, который маршрутизирует запросы вывода между зарегистрированными кластерами HyperPod в одном или нескольких регионах AWS. Шлюз аутентифицирует запросы через SigV4/IAM, перенаправляет трафик по AWS PrivateLink, обеспечивает автоматический фейловер и выбор кластера для каждого запроса и предоставляет единый endpoint вместо множества эндпоинтов по кластерам.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon представила Global Inference Gateway для SageMaker HyperPod — управляемый SageMaker шлюз, который маршрутизирует запросы вывода между зарегистрированными кластерами HyperPod в одном или нескольких регионах AWS.
  2. Шлюз аутентифицирует запросы через SigV4/IAM, перенаправляет трафик по AWS PrivateLink, обеспечивает автоматический фейловер и выбор кластера для каждого запроса и предоставляет единый endpoint вместо множества эндпоинтов по кластерам.
  3. Это снижает операционную нагрузку и повышает использование и доступность GPU: единый управляемый endpoint маршрутизирует запросы по кластерам и регионам с автоматическим фейловером и встроенной аутентификацией.

ПОЧЕМУ ЭТО ВАЖНО

Это снижает операционную нагрузку и повышает использование и доступность GPU: единый управляемый endpoint маршрутизирует запросы по кластерам и регионам с автоматическим фейловером и встроенной аутентификацией.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1