Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #604

NVIDIA Transformer Engine

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

CODING · 1 ИСТОЧН. · NVIDIA Developer

Эффективная тренировка MoE для биологических foundation-моделей с NVIDIA Transformer Engine и MXFP8

NVIDIA опубликовала рецепт обучения MoE BioNeMo, который использует примитивы Transformer Engine — GroupedLinear, MXFP8 (блочно масштабируемый 8‑битный формат) и объединённый GroupedMLP‑ядро (ForwardGroupedMLP_CuTeGEMMSwiGLU_MXFP8) — для сокращения накладных расходов на запуск кернелов, уменьшения объёма активаций и ускорения обучения MoE. В бенчмарке на восьми GPU (NVIDIA B200) рецепт показал до 2.21× пропускной способности по сравнению с базовой реализацией Hugging Face; объединённое MXFP8‑ядро требует аппаратуры Blackwell.

6.0

MODELS · 1 ИСТОЧН. · NVIDIA Developer

Ускорение обучения dropless MoE в JAX с помощью NVIDIA Transformer Engine

NVIDIA Developer рассказывает, как использовать NVIDIA Transformer Engine для ускорения обучения dropless архитектур Mixture‑of‑Experts (MoE) в JAX, приводя детали реализации и рекомендации по интеграции движка с MoE‑моделями. В материале также упоминаются современные MoE‑модели, такие как DeepSeek, Qwen и Mixtral, и рассматриваются практические шаги по повышению эффективности обучения.

6.0