Ускорение обучения dropless MoE в JAX с помощью NVIDIA Transformer Engine
NVIDIA Developer рассказывает, как использовать NVIDIA Transformer Engine для ускорения обучения dropless архитектур Mixture‑of‑Experts (MoE) в JAX, приводя детали реализации и рекомендации по интеграции движка с MoE‑моделями. В материале также упоминаются современные MoE‑модели, такие как DeepSeek, Qwen и Mixtral, и рассматриваются практические шаги по повышению эффективности обучения.