Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #3235

NVIDIA NCCL M2N Reshard реализует Reshard collective и ускоряет refit весов RL до 5.7×

Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями. Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями.
  2. Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.
  3. Устраняя избыточные операции all-gather/broadcast (до ~10 ТБ на refit для крупнейших открытых моделей), Reshard снижает коммуникационные издержки и повышает масштабируемость постобучения RL в разъединённых GPU-средах.

ПОЧЕМУ ЭТО ВАЖНО

Устраняя избыточные операции all-gather/broadcast (до ~10 ТБ на refit для крупнейших открытых моделей), Reshard снижает коммуникационные издержки и повышает масштабируемость постобучения RL в разъединённых GPU-средах.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1