Amazon описывает архитектуру EKS + EFA + DeepEP для масштабирования MoE-обучения с усилением до 40% пропускной способности
Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO). В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.