Slurm

2026-11-02

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA выпустила open-source решение NVIDIA Recovery для автоматизации восстановления распределённой тренировки

NVIDIA представила NVIDIA Recovery — open-source сервис уровня рабочих нагрузок в составе DSX OS, который обнаруживает прерывания тренировок по логам приложений, метрикам GPU и сигналам планировщика и выполняет четырёхэтапный цикл для атрибуции отказов, изоляции узлов и перезапуска или остановки задач. Сервис интегрируется со Slurm через Advisor Controller, доступный как Helm-чарт, по умолчанию запускается в режиме мониторинга, ведёт аудиторский журнал и предоставляет Recovery Console; репозиторий и quickstart позволяют развернуть его локально без физических GPU; в продакшн-мониторинге за 3 месяца зафиксировано ~8 550 детекций аномалий со средними латентностями 69 с и 94 с.

7.0

2026-10-26

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA Mission Control 2.5 добавляет автономное восстановление для Kubernetes‑нагрузок через Run:ai

NVIDIA Mission Control 2.5 расширяет свой автономный движок восстановления — который обнаруживает, диагностирует и восстанавливает сбои — на Kubernetes‑нагрузки, управляемые NVIDIA Run:ai. Выпуск вводит трёхслойную систему, координирующую планировщик Kubernetes, восстановление задач и восстановление оборудования, а также упоминает функции вроде обнаружения сетевых аномалий с помощью ИИ; доступна документация и примечания к релизу.

6.0

2026-10-16

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Глубокое RL для планирования задач в HPC — статистическая оценка: MaskablePPO лучше на гетерогенной траектории

Представлен доклад в arXiv, сравнивающий шесть методов глубокого обучения с подкреплением (PPO, A2C, DQN, каждая версия с маскированием и без) с тремя эвристиками и парным по семенам маскированным случайным контролем на двух реальных трассах Slurm (однородной и гетерогенной) в непараметрическом анализе. Маскированные варианты завершили оценку, немаскированные были усечены; на однородной трассе ни один маскированный DRL не превзошёл маскированный случайный контроль, а на гетерогенной трассе MaskablePPO улучшил среднее время ожидания, среднее и максимальное ограниченное замедление (макс. замедление на 22% ниже, чем у LCFS), показал лучший ранг по среднему времени ожидания среди завершивших методы и имел наименьшее среднее время обучения среди маскированных вариантов, при этом MaskableDQN продемонстрировал наименьшую задержку принятия решения.

5.0

2026-10-08

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon представила референсную архитектуру для HyperPod на EKS с поддержкой многопользовательности

AWS описывает референсную архитектуру использования Amazon SageMaker HyperPod с Amazon EKS, позволяющую нескольким командам совместно использовать GPU‑кластеры при сохранении изоляции, справедливого распределения ресурсов и учёта затрат по командам. Решение использует AWS IAM Identity Center для аутентификации, отдельные домены SageMaker для команд и Kubernetes‑пространства имён для изоляции, HyperPod Task Governance для квотирования и HyperPod Observability для мониторинга.

6.0

2026-10-06

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Управление Amazon SageMaker HyperPod Spaces прямо из SageMaker Studio

AWS добавила поддержку управления SageMaker Spaces на кластерах HyperPod EKS через интерфейс SageMaker Studio, что позволяет дата‑сайентистам запускать JupyterLab или Code Editor и включать/останавливать Spaces без использования CLI. Администраторам нужно установить дополнение SageMaker Spaces на HyperPod, прикрепить необходимые IAM‑политики и включить per-user identity propagation для домена Studio.

6.0

2026-09-22

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA представляет Topograph — набор инструментов для публикации топологии кластера и топологически‑осведомлённого планирования

Topograph от NVIDIA — открытый инструмент для обнаружения и нормализации топологии кластера, который публикует модель в виде меток узлов Kubernetes, конфигурации Slurm или ConfigMap для Slinky, чтобы менеджеры задач выполняли топологически‑осведомлённое планирование. Инструмент поддерживает ряд облачных провайдеров и локальные fabric‑системы (InfiniBand, Spectrum‑X, Multi‑Node NVLink), интегрируется с компонентами DSX OS (DRA, KAI Scheduler) и доступен в репозитории dsx-ai-factory/topograph с вариантами развёртывания через Helm и нативными пакетами для Slurm и средствами симуляции.

6.0

2026-09-15

CODING · 1 ИСТОЧН. · NVIDIA Developer

Масштабирование федеративного обучения на Docker, Kubernetes и Slurm с помощью NVIDIA FLARE

Статья на NVIDIA Developer описывает, как с помощью NVIDIA FLARE можно запускать и масштабировать нагрузки федеративного обучения в популярных средах оркестрации — Docker, Kubernetes и Slurm, давая рекомендации по переходу от одиночных серверов и небольшого числа клиентов к более крупным развертываниям.

5.0