NVIDIA NCCL M2N Reshard реализует Reshard collective и ускоряет refit весов RL до 5.7×
Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями. Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.