Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #30194

DTensor

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA NCCL M2N Reshard реализует Reshard collective и ускоряет refit весов RL до 5.7×

Коллектив Reshard переводит операцию refit в передачу DTensor→DTensor, перемещая только минимально необходимую часть данных между любыми исходными и целевыми разбиениями. Открытая реализация NVIDIA NCCL M2N Reshard (nvidia/nccl-extensions) показывает ускорения refit в 2.7×–5.7× в бенчмарках NeMo RL на DGX H100 и DGX GB200 (тесты включали Qwen 3 235B и DeepSeek v3 671B) и использует гибридный режим: Reshard для доминирующих весов проекции и gather-and-broadcast для меньших тензоров.

7.0