NVIDIA NVRx добавляет отказоустойчивость в обучение PyTorch FSDP на Amazon EKS
NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.