РЕЛИЗ · COMPANIES · #2957
NVIDIA выпустила open-source решение NVIDIA Recovery для автоматизации восстановления распределённой тренировки
NVIDIA представила NVIDIA Recovery — open-source сервис уровня рабочих нагрузок в составе DSX OS, который обнаруживает прерывания тренировок по логам приложений, метрикам GPU и сигналам планировщика и выполняет четырёхэтапный цикл для атрибуции отказов, изоляции узлов и перезапуска или остановки задач. Сервис интегрируется со Slurm через Advisor Controller, доступный как Helm-чарт, по умолчанию запускается в режиме мониторинга, ведёт аудиторский журнал и предоставляет Recovery Console; репозиторий и quickstart позволяют развернуть его локально без физических GPU; в продакшн-мониторинге за 3 месяца зафиксировано ~8 550 детекций аномалий со средними латентностями 69 с и 94 с.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA представила NVIDIA Recovery — open-source сервис уровня рабочих нагрузок в составе DSX OS, который обнаруживает прерывания тренировок по логам приложений, метрикам GPU и сигналам планировщика и выполняет четырёхэтапный цикл для атрибуции отказов, изоляции узлов и перезапуска или остановки задач.
- Сервис интегрируется со Slurm через Advisor Controller, доступный как Helm-чарт, по умолчанию запускается в режиме мониторинга, ведёт аудиторский журнал и предоставляет Recovery Console; репозиторий и quickstart позволяют развернуть его локально без физических GPU; в продакшн-мониторинге за 3 месяца зафиксировано ~8 550 детекций аномалий со средними латентностями 69 с и 94 с.
- Автоматизация восстановления рабочих нагрузок уменьшает ручное вмешательство и простой GPU, повышая полезную производительность тренировок и снижая операционные затраты при масштабных распределённых тренировках.
ПОЧЕМУ ЭТО ВАЖНО
Автоматизация восстановления рабочих нагрузок уменьшает ручное вмешательство и простой GPU, повышая полезную производительность тренировок и снижая операционные затраты при масштабных распределённых тренировках.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1NVIDIA Recovery automates workload-level recovery across a cluster's training jobs around the clock, detecting interruptions through application logs, GPU metrics, and scheduler signals. The service coordinates a four-stage recovery loop that detects anomalies, attributes failures, isolates implicated nodes, and restarts or stops workloads based on configured policy. Integration with Slurm uses a reference Advisor …
Use this open-source tool to correlate workload-scoped logs, metrics, and scheduler state into a reproducible diagnosis on your own cluster. NVIDIA Attribution correlates workload-scoped logs, metrics, telemetry, and scheduler state to produce a structured diagnosis with outcome, root cause, affected nodes, supporting symptoms, and an evidence trail. The system operates through two deployable components: the Attrib…