Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #3463

Amazon SageMaker HyperPod: три проверки в PyTorch DDP для обнаружения и восстановления от тихой порчи данных

Amazon описывает добавление трёх проверок целостности в циклы обучения PyTorch DistributedDataParallel на SageMaker HyperPod для обнаружения тихой порчи данных (SDC): проверку на нечисловые градиенты, аудит кольца с повторным вычислением микропакетов для побитного сравнения потерь/градиентов и сравнение отпечатков весов после обновления. При срабатывании проверки ранк сопоставляют с узлом в кластере EKS, локализуют и заменяют узел через HyperPod с восстановлением из чекпойнта; метод тестировали со встроенными программными ошибками на кластере ml.p5.48xlarge (32 H100), и код доступен в сопроводительном репозитории GitHub.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon описывает добавление трёх проверок целостности в циклы обучения PyTorch DistributedDataParallel на SageMaker HyperPod для обнаружения тихой порчи данных (SDC): проверку на нечисловые градиенты, аудит кольца с повторным вычислением микропакетов для побитного сравнения потерь/градиентов и сравнение отпечатков весов после обновления.
  2. При срабатывании проверки ранк сопоставляют с узлом в кластере EKS, локализуют и заменяют узел через HyperPod с восстановлением из чекпойнта; метод тестировали со встроенными программными ошибками на кластере ml.p5.48xlarge (32 H100), и код доступен в сопроводительном репозитории GitHub.
  3. Тихая порча данных может незаметно испортить масштабные обучения и привести к потере вычислительных ресурсов; эти проверки позволяют задачам обучения обнаруживать, локализовать проблему и запускать замену узла HyperPod, чтобы ограничить потери.

ПОЧЕМУ ЭТО ВАЖНО

Тихая порча данных может незаметно испортить масштабные обучения и привести к потере вычислительных ресурсов; эти проверки позволяют задачам обучения обнаруживать, локализовать проблему и запускать замену узла HyperPod, чтобы ограничить потери.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1