Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

РЕГУЛИРОВАНИЕ · COMPANIES · #1054

Amazon описывает архитектуру EKS + EFA + DeepEP для масштабирования MoE-обучения с усилением до 40% пропускной способности

Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO). В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO).
  2. В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.
  3. Оптимизация коммуникаций EP и оркестрации на инфраструктуре AWS может существенно снизить узкие места при обучении крупных MoE-моделей с подкреплением, повышая пропускную способность и потенциально сокращая затраты и время обучения.

ПОЧЕМУ ЭТО ВАЖНО

Оптимизация коммуникаций EP и оркестрации на инфраструктуре AWS может существенно снизить узкие места при обучении крупных MoE-моделей с подкреплением, повышая пропускную способность и потенциально сокращая затраты и время обучения.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Scaling MoE reinforcement learning on Amazon EKS with EFA and DeepEP with 40% more throughput

When you post-train a Mixture-of-Experts (MoE) model with Reinforcement Learning from Human Feedback (RLHF) or Group Relative Policy Optimization (GRPO) at scale, three simultaneous challenges emerge. The first requires coordinating heterogeneous compute for rollout generation and policy training. Second, sustaining high-throughput communication across hundreds of accelerators. And third, dynamically orchestrating ev…

↗