ГАЙД · CODING · #496
NVIDIA NVRx добавляет отказоустойчивость в обучение PyTorch FSDP на Amazon EKS
NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах.
- В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.
- Важно, поскольку многослойное восстановление NVRx (асинхронные контрольные точки, перезапуск в процессе, ft_launcher) помогает сократить впустую потраченное GPU-время и ускорить восстановление от мягких и жёстких сбоев в распределённых PyTorch-задачах на EKS.
ПОЧЕМУ ЭТО ВАЖНО
Важно, поскольку многослойное восстановление NVRx (асинхронные контрольные точки, перезапуск в процессе, ft_launcher) помогает сократить впустую потраченное GPU-время и ускорить восстановление от мягких и жёстких сбоев в распределённых PyTorch-задачах на EKS.