NVIDIA выпустила open-source решение NVIDIA Recovery для автоматизации восстановления распределённой тренировки
NVIDIA представила NVIDIA Recovery — open-source сервис уровня рабочих нагрузок в составе DSX OS, который обнаруживает прерывания тренировок по логам приложений, метрикам GPU и сигналам планировщика и выполняет четырёхэтапный цикл для атрибуции отказов, изоляции узлов и перезапуска или остановки задач. Сервис интегрируется со Slurm через Advisor Controller, доступный как Helm-чарт, по умолчанию запускается в режиме мониторинга, ведёт аудиторский журнал и предоставляет Recovery Console; репозиторий и quickstart позволяют развернуть его локально без физических GPU; в продакшн-мониторинге за 3 месяца зафиксировано ~8 550 детекций аномалий со средними латентностями 69 с и 94 с.