Amazon SageMaker HyperPod запускает Global Inference Gateway для маршрутизации между кластерами и регионами
Amazon представила Global Inference Gateway для SageMaker HyperPod — управляемый SageMaker шлюз, который маршрутизирует запросы вывода между зарегистрированными кластерами HyperPod в одном или нескольких регионах AWS. Шлюз аутентифицирует запросы через SigV4/IAM, перенаправляет трафик по AWS PrivateLink, обеспечивает автоматический фейловер и выбор кластера для каждого запроса и предоставляет единый endpoint вместо множества эндпоинтов по кластерам.