НОВОСТЬ · CODING · #3463
Amazon SageMaker HyperPod: три проверки в PyTorch DDP для обнаружения и восстановления от тихой порчи данных
Amazon описывает добавление трёх проверок целостности в циклы обучения PyTorch DistributedDataParallel на SageMaker HyperPod для обнаружения тихой порчи данных (SDC): проверку на нечисловые градиенты, аудит кольца с повторным вычислением микропакетов для побитного сравнения потерь/градиентов и сравнение отпечатков весов после обновления. При срабатывании проверки ранк сопоставляют с узлом в кластере EKS, локализуют и заменяют узел через HyperPod с восстановлением из чекпойнта; метод тестировали со встроенными программными ошибками на кластере ml.p5.48xlarge (32 H100), и код доступен в сопроводительном репозитории GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon описывает добавление трёх проверок целостности в циклы обучения PyTorch DistributedDataParallel на SageMaker HyperPod для обнаружения тихой порчи данных (SDC): проверку на нечисловые градиенты, аудит кольца с повторным вычислением микропакетов для побитного сравнения потерь/градиентов и сравнение отпечатков весов после обновления.
- При срабатывании проверки ранк сопоставляют с узлом в кластере EKS, локализуют и заменяют узел через HyperPod с восстановлением из чекпойнта; метод тестировали со встроенными программными ошибками на кластере ml.p5.48xlarge (32 H100), и код доступен в сопроводительном репозитории GitHub.
- Тихая порча данных может незаметно испортить масштабные обучения и привести к потере вычислительных ресурсов; эти проверки позволяют задачам обучения обнаруживать, локализовать проблему и запускать замену узла HyperPod, чтобы ограничить потери.
ПОЧЕМУ ЭТО ВАЖНО
Тихая порча данных может незаметно испортить масштабные обучения и привести к потере вычислительных ресурсов; эти проверки позволяют задачам обучения обнаруживать, локализовать проблему и запускать замену узла HyperPod, чтобы ограничить потери.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1Silent data corruption (SDC) happens when hardware, such as a GPU, returns a wrong but plausible number and raises no error. In distributed training, the wrong number can flow into the gradients and weights of every replica. Loss can still look normal for hours, and by the time a team notices an unexplained divergence or a weaker model, the compute is spent. It happens at scale: during a 54-day period of Llama 3 405B…
Foundation models deployed on Amazon SageMaker HyperPod meet inputs that no pre-curated dataset covers: domain-specific jargon, unexpected formats, new products, and changing user behavior. Without a record of production inference data, teams can’t detect drift, find failure patterns, or use real interactions to improve the model. Amazon SageMaker HyperPod now provides Data Capture, a built-in capability that record…