НОВОСТЬ · MODELS · #4017
Amazon SageMaker HyperPod запускает Global Inference Gateway для маршрутизации между кластерами и регионами
Amazon представила Global Inference Gateway для SageMaker HyperPod — управляемый SageMaker шлюз, который маршрутизирует запросы вывода между зарегистрированными кластерами HyperPod в одном или нескольких регионах AWS. Шлюз аутентифицирует запросы через SigV4/IAM, перенаправляет трафик по AWS PrivateLink, обеспечивает автоматический фейловер и выбор кластера для каждого запроса и предоставляет единый endpoint вместо множества эндпоинтов по кластерам.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon представила Global Inference Gateway для SageMaker HyperPod — управляемый SageMaker шлюз, который маршрутизирует запросы вывода между зарегистрированными кластерами HyperPod в одном или нескольких регионах AWS.
- Шлюз аутентифицирует запросы через SigV4/IAM, перенаправляет трафик по AWS PrivateLink, обеспечивает автоматический фейловер и выбор кластера для каждого запроса и предоставляет единый endpoint вместо множества эндпоинтов по кластерам.
- Это снижает операционную нагрузку и повышает использование и доступность GPU: единый управляемый endpoint маршрутизирует запросы по кластерам и регионам с автоматическим фейловером и встроенной аутентификацией.
ПОЧЕМУ ЭТО ВАЖНО
Это снижает операционную нагрузку и повышает использование и доступность GPU: единый управляемый endpoint маршрутизирует запросы по кластерам и регионам с автоматическим фейловером и встроенной аутентификацией.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1During a traffic peak, a request can sit in a queue on a saturated HyperPod cluster while GPUs on another cluster, sometimes in another AWS Region, sit idle. You have already paid for that capacity, but your requests can’t reach it. In Introducing Amazon SageMaker HyperPod Inference Gateway , we showed how the Inference Gateway gives each Amazon SageMaker HyperPod cluster a single, GPU-aware endpoint. It reads real-…
Keeping a shared Slurm cluster for foundation model development in sync entails keeping several separately maintained pieces of configuration matched to what’s running on the nodes. The cluster’s shape lives on multiple configuration files, its software in custom scripts, its network topology in files that must be edited as nodes change, and its users in a roster that an administrator must maintain and rerun. Over ti…