НОВОСТЬ · CODING · #1911
Amazon SageMaker описывает оптимизацию fused-MoE кернелов с учётом ограничений WGMMA на NVIDIA Hopper
Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64. В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64.
- В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.
- Поскольку WGMMA в Hopper фиксирует M=64, рабочие нагрузки MoE при малом M и огромном N недогружают Tensor Core; оптимизация кернелов в SageMaker нацелена на ключевое улучшение для снижения задержки и стоимости инференса MoE.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку WGMMA в Hopper фиксирует M=64, рабочие нагрузки MoE при малом M и огромном N недогружают Tensor Core; оптимизация кернелов в SageMaker нацелена на ключевое улучшение для снижения задержки и стоимости инференса MoE.