NCCL

2026-11-02

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA выпустила open-source решение NVIDIA Recovery для автоматизации восстановления распределённой тренировки

NVIDIA представила NVIDIA Recovery — open-source сервис уровня рабочих нагрузок в составе DSX OS, который обнаруживает прерывания тренировок по логам приложений, метрикам GPU и сигналам планировщика и выполняет четырёхэтапный цикл для атрибуции отказов, изоляции узлов и перезапуска или остановки задач. Сервис интегрируется со Slurm через Advisor Controller, доступный как Helm-чарт, по умолчанию запускается в режиме мониторинга, ведёт аудиторский журнал и предоставляет Recovery Console; репозиторий и quickstart позволяют развернуть его локально без физических GPU; в продакшн-мониторинге за 3 месяца зафиксировано ~8 550 детекций аномалий со средними латентностями 69 с и 94 с.

7.0

2026-10-29

MODELS · 1 ИСТОЧН. · AWS Machine Learning

NVIDIA выпустила Nemotron 3.5 Super VL (120B MoE) и опубликовала руководство по развёртыванию на AWS EKS / SageMaker

NVIDIA выпустила Nemotron 3.5 Super VL — открытую мультимодальную модель MoE с 120 млрд параметров, которая активирует около 12 млрд параметров на токен и получена путём дистилляции от Nemotron 3 Ultra. NVIDIA опубликовала веса модели, обучающие наборы данных и рецепты пост‑обработки, а также референсные реализации и пошаговое руководство aws-do-eks по развёртыванию моделей Nemotron на Amazon EKS, EKS Auto Mode и SageMaker HyperPod EKS; модель валидирована на AWS GPU‑инстансах и интегрируется с основными агентными фреймворками через NVIDIA Agent Toolkit.

7.0

2026-10-28

CODING · 1 ИСТОЧН. · AWS Machine Learning

AWS Ray Train DLC (train-ml-cuda-v1.1) обеспечивает многозвённую PyTorch с EFA на EKS

AWS предлагает контейнер Ray Train DLC (public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1), в котором собраны CUDA, NCCL, библиотеки EFA и Ray, что позволяет запускать многозвённую PyTorch-тренировку на EKS без сборки пользовательских образов. В примере показана донастройка Qwen2.5-1.5B с PyTorch FSDP на восьми NVIDIA L4 GPU (два инстанса g6.12xlarge) с использованием KubeRay и EFA.

6.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA официально поддерживает восьминодовые кластеры DGX Spark с 1 ТБ унифицированной памяти для запуска передовых моделей

На GTC Berlin NVIDIA объявила официальную поддержку восьминодовых кластеров DGX Spark с 1 ТБ унифицированной памяти, что позволяет запускать локально передовые модели, включая полный GLM 5.3 (753B) от Z.ai. Компания представила оптимизированный для Spark коллективный бэкенд RoCEnante (включённый в FlashInfer), снижающий задержки all-reduce — по данным NVIDIA, это даёт 4.43× ускорение декодирования на восьми узлах (против 3.05× без него) — и опубликовала бенчмарки (например, Qwen3.8-27B NVFP4: ~12 → 52 токена/сек, GLM 5.3 ≈80 TPS, 7.79× ускорение предподготовки с 97.4% эффективности для nanochat); также отмечены NeMo Switchyard, vLLM и планируемая поддержка восьминодовых кластеров в NVIDIA Sync.

7.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Echo: коррекционный 4‑битный all‑reduce для тензорного параллелизма при обучении и выводе LLM

В статье на arXiv предложен Echo — 4‑битный протокол all‑reduce для тензорного параллелизма при обучении и выводе LLM, который передаёт данные в 4 бита, суммирует в высокой точности и передаёт погрешности округления в последующие вызовы, чтобы они компенсировались, а не накапливались. Авторы доказывают, что накопленная ошибка не зависит от глубины, и приводят результаты: Echo в 2.09× быстрее 16‑битного NCCL all‑reduce при сообщениях 1 ГБ на A100, ускоряет время до первого токена и шаг обучения до ~1.16×/1.09× на тихой сети (и сильнее при фоне), сохраняет точность в пределах 0.4 пункта для Qwen3‑8B и даёт <0.9% больший итоговый loss после 10B токенов, без требований к FP8/FP4‑оборудованию.

7.0

2026-09-23

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA открывает исходники NVCRE — контроллера Kubernetes для проверки готовности GPU-кластеров

NVIDIA Cluster Readiness Engine (NVCRE) — это открытый контроллер Kubernetes, который запускает реальные распределённые рабочие нагрузки по топологически учётным группам узлов, чтобы подтверждать готовность GPU-кластеров перед запуском продакшн AI-задач. Он предоставляет CRD Certification/Workflow/Job, адаптивную изоляцию сбоев для точного определения проблемных узлов, API WorkloadRun для настройки многонодовых GPU-запусков, интегрируется с NVIDIA AI Cluster Runtime и NVSentinel (часть NVIDIA DSX OS), устанавливается через nvcrectl и поддерживает расширение через GitHub.

7.0

2026-09-21

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA Dynamo-Triton 26.07 включает многопроцессорный вывод TensorRT на нескольких GPU

NVIDIA включила многопроцессорный вывод TensorRT в выпуске Dynamo-Triton 26.07 (многопроцессорная поддержка TensorRT доступна с TensorRT 11.0), что позволяет одному экземпляру KIND_MODEL использовать несколько GPU и предоставлять один gRPC-эндоинт с распределёнными коллективами на базе NCCL. В демонстрации с генерацией видео Cosmos 3 Nano распределение трансформера на 44 160 токенов по восьми GPU сократило задержку с 156,6 с до 34,2 с и показало ускорение transformer RPC до 6,09x; Dynamo-Triton 26.07 доступен для загрузки на NGC с руководством по настройке.

7.5

2026-09-16

CODING · 1 ИСТОЧН. · AWS Machine Learning

NVIDIA NVRx добавляет отказоустойчивость в обучение PyTorch FSDP на Amazon EKS

NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.

6.0