Amazon SageMaker описывает оптимизацию fused-MoE кернелов с учётом ограничений WGMMA на NVIDIA Hopper
Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64. В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.