Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3911

Amazon SageMaker HyperPod получает расширенную видимость инфраструктуры GPU с CloudWatch по умолчанию

Amazon представила расширенную видимость для SageMaker HyperPod: новое дополнение/расширение с диагностическим обзором (с использованием DetectGroupOutliers API CloudWatch и статических правил) и двумя уровнями телеметрии — метрики по умолчанию (сбор каждые 30 с, включены автоматически) и опциональные расширенные метрики (полный node exporter, NVIDIA DCGM, AWS Neuron, EFA). Функция поддерживает оркестрацию через EKS и Slurm, выявляет проблемы на уровне заданий/узлов/акселераторов (XID/ECC, троттлинг, сетевые деградации) и делает Amazon CloudWatch бэкендом мониторинга по умолчанию с опцией Prometheus.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon представила расширенную видимость для SageMaker HyperPod: новое дополнение/расширение с диагностическим обзором (с использованием DetectGroupOutliers API CloudWatch и статических правил) и двумя уровнями телеметрии — метрики по умолчанию (сбор каждые 30 с, включены автоматически) и опциональные расширенные метрики (полный node exporter, NVIDIA DCGM, AWS Neuron, EFA).
  2. Функция поддерживает оркестрацию через EKS и Slurm, выявляет проблемы на уровне заданий/узлов/акселераторов (XID/ECC, троттлинг, сетевые деградации) и делает Amazon CloudWatch бэкендом мониторинга по умолчанию с опцией Prometheus.
  3. Это ускоряет устранение неполадок в масштабном распределённом обучении на GPU, изолируя неисправные ускорители и указывая вероятные причины, что уменьшает простой дорогостоящих GPU.

ПОЧЕМУ ЭТО ВАЖНО

Это ускоряет устранение неполадок в масштабном распределённом обучении на GPU, изолируя неисправные ускорители и указывая вероятные причины, что уменьшает простой дорогостоящих GPU.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1