НОВОСТЬ · COMPANIES · #3911
Amazon SageMaker HyperPod получает расширенную видимость инфраструктуры GPU с CloudWatch по умолчанию
Amazon представила расширенную видимость для SageMaker HyperPod: новое дополнение/расширение с диагностическим обзором (с использованием DetectGroupOutliers API CloudWatch и статических правил) и двумя уровнями телеметрии — метрики по умолчанию (сбор каждые 30 с, включены автоматически) и опциональные расширенные метрики (полный node exporter, NVIDIA DCGM, AWS Neuron, EFA). Функция поддерживает оркестрацию через EKS и Slurm, выявляет проблемы на уровне заданий/узлов/акселераторов (XID/ECC, троттлинг, сетевые деградации) и делает Amazon CloudWatch бэкендом мониторинга по умолчанию с опцией Prometheus.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon представила расширенную видимость для SageMaker HyperPod: новое дополнение/расширение с диагностическим обзором (с использованием DetectGroupOutliers API CloudWatch и статических правил) и двумя уровнями телеметрии — метрики по умолчанию (сбор каждые 30 с, включены автоматически) и опциональные расширенные метрики (полный node exporter, NVIDIA DCGM, AWS Neuron, EFA).
- Функция поддерживает оркестрацию через EKS и Slurm, выявляет проблемы на уровне заданий/узлов/акселераторов (XID/ECC, троттлинг, сетевые деградации) и делает Amazon CloudWatch бэкендом мониторинга по умолчанию с опцией Prometheus.
- Это ускоряет устранение неполадок в масштабном распределённом обучении на GPU, изолируя неисправные ускорители и указывая вероятные причины, что уменьшает простой дорогостоящих GPU.
ПОЧЕМУ ЭТО ВАЖНО
Это ускоряет устранение неполадок в масштабном распределённом обучении на GPU, изолируя неисправные ускорители и указывая вероятные причины, что уменьшает простой дорогостоящих GPU.