НОВОСТЬ · CODING · #3235
NVIDIA NCCL M2N Reshard реализует Reshard collective и ускоряет refit весов RL до 5.7×
Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями. Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями.
- Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.
- Устраняя избыточные операции all-gather/broadcast (до ~10 ТБ на refit для крупнейших открытых моделей), Reshard снижает коммуникационные издержки и повышает масштабируемость постобучения RL в разъединённых GPU-средах.
ПОЧЕМУ ЭТО ВАЖНО
Устраняя избыточные операции all-gather/broadcast (до ~10 ТБ на refit для крупнейших открытых моделей), Reshard снижает коммуникационные издержки и повышает масштабируемость постобучения RL в разъединённых GPU-средах.