РЕЛИЗ · CODING · #1750
Megatron Core PR №7262 добавляет workflow для побитовой детерминированной предобучения
PR №7262 в Megatron-LM добавляет в NVIDIA Megatron Core workflow и инструменты для достижения и проверки побитовой детерминированности при крупномасштабном предобучении, включая упорядоченное по рангу отпечатание тензоров для офлайн-локализации расхождений. Исправления на уровне ядер (например, приватные слоты вывода для grouped-GEMM и фиксированный порядок редукции), валидация рецептов/ядер/модулей при разных схемах параллелизма (включая FP8/FP4) и оптимизации на Nemotron сократили накладные расходы до ~2% на 2 432 GPU при сохранении побитовой идентичности в течение 800 шагов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- PR №7262 в Megatron-LM добавляет в NVIDIA Megatron Core workflow и инструменты для достижения и проверки побитовой детерминированности при крупномасштабном предобучении, включая упорядоченное по рангу отпечатание тензоров для офлайн-локализации расхождений.
- Исправления на уровне ядер (например, приватные слоты вывода для grouped-GEMM и фиксированный порядок редукции), валидация рецептов/ядер/модулей при разных схемах параллелизма (включая FP8/FP4) и оптимизации на Nemotron сократили накладные расходы до ~2% на 2 432 GPU при сохранении побитовой идентичности в течение 800 шагов.
- Побитовая детерминированность обеспечивает надёжное воспроизведение ошибок, корректное восстановление из чекпоинтов и валидацию изменений системы при триллионном масштабе, снижая риск дорогих недетерминированных сбоев при небольшой накладной нагрузке.
ПОЧЕМУ ЭТО ВАЖНО
Побитовая детерминированность обеспечивает надёжное воспроизведение ошибок, корректное восстановление из чекпоинтов и валидацию изменений системы при триллионном масштабе, снижая риск дорогих недетерминированных сбоев при небольшой накладной нагрузке.