Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #8861

ml.p5.48xlarge

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod Inference добавляет управляемую поддержку NVIDIA Dynamo

Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo через дополнение HyperPod Inference, которое устанавливает CRD и компоненты обслуживания/планирования Dynamo, позволяя выполнять многоузловой и разъединённый вывод LLM (отдельные prefill и decode воркеры) с EFA‑сетью, координированным планированием GPU и KV‑aware маршрутизацией. Развёртывание возможно через собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec; поддерживаются движки vLLM, SGLang и TensorRT‑LLM на инстансах типа ml.p5.48xlarge с использованием AWS DLC.

6.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod: три проверки в PyTorch DDP для обнаружения и восстановления от тихой порчи данных

Amazon описывает добавление трёх проверок целостности в циклы обучения PyTorch DistributedDataParallel на SageMaker HyperPod для обнаружения тихой порчи данных (SDC): проверку на нечисловые градиенты, аудит кольца с повторным вычислением микропакетов для побитного сравнения потерь/градиентов и сравнение отпечатков весов после обновления. При срабатывании проверки ранк сопоставляют с узлом в кластере EKS, локализуют и заменяют узел через HyperPod с восстановлением из чекпойнта; метод тестировали со встроенными программными ошибками на кластере ml.p5.48xlarge (32 H100), и код доступен в сопроводительном репозитории GitHub.

7.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod и Qumulo позволяют обучать модели между регионами без копирования данных

Amazon и Qumulo подтвердили архитектуру, в которой Amazon SageMaker HyperPod в сочетании с Cloud Native Qumulo (CNQ) и Qumulo Cloud Data Fabric (CDF) позволяет кластерам обучаться на едином наборе данных, расположенном в другом регионе AWS, без репликации данных. В тесте между us-east-2 (hub) и us-west-2 (spoke) при запуске LLaMA v3 (1,02 млрд параметров) на двух ml.p5.48xlarge-инстансах на кластер (16 H100 GPU) удалённый кластер после короткого прогрева NeuralCache достиг пропускной способности хаба (≈115–117 образцов/с) и почти полной загрузки GPU.

7.0