Megatron Core PR №7262 добавляет workflow для побитовой детерминированной предобучения
PR №7262 в Megatron-LM добавляет в NVIDIA Megatron Core workflow и инструменты для достижения и проверки побитовой детерминированности при крупномасштабном предобучении, включая упорядоченное по рангу отпечатание тензоров для офлайн-локализации расхождений. Исправления на уровне ядер (например, приватные слоты вывода для grouped-GEMM и фиксированный порядок редукции), валидация рецептов/ядер/модулей при разных схемах параллелизма (включая FP8/FP4) и оптимизации на Nemotron сократили накладные расходы до ~2% на 2 432 GPU при сохранении побитовой идентичности в течение 800 шагов.