Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #2743

AWS Ray Train DLC (train-ml-cuda-v1.1) обеспечивает многозвённую PyTorch с EFA на EKS

AWS предлагает контейнер Ray Train DLC (public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1), в котором собраны CUDA, NCCL, библиотеки EFA и Ray, что позволяет запускать многозвённую PyTorch-тренировку на EKS без сборки пользовательских образов. В примере показана донастройка Qwen2.5-1.5B с PyTorch FSDP на восьми NVIDIA L4 GPU (два инстанса g6.12xlarge) с использованием KubeRay и EFA.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. AWS предлагает контейнер Ray Train DLC (public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1), в котором собраны CUDA, NCCL, библиотеки EFA и Ray, что позволяет запускать многозвённую PyTorch-тренировку на EKS без сборки пользовательских образов.
  2. В примере показана донастройка Qwen2.5-1.5B с PyTorch FSDP на восьми NVIDIA L4 GPU (два инстанса g6.12xlarge) с использованием KubeRay и EFA.
  3. Отказ от ручной сборки и тестирования образов для каждого кластера снижает накладные расходы на развертывание и сохраняет высокую производительность для многозвёздных GPU-тренировок по EFA.

ПОЧЕМУ ЭТО ВАЖНО

Отказ от ручной сборки и тестирования образов для каждого кластера снижает накладные расходы на развертывание и сохраняет высокую производительность для многозвёздных GPU-тренировок по EFA.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Distributed training with Ray Train DLCs and EFA on EKS

What usually stops PyTorch training from scaling out to a cluster is the container, not the model code. Every container needs the same CUDA runtime , a PyTorch build compiled against it, NCCL (NVIDIA Collective Communications Library), the Elastic Fabric Adapter (EFA) userspace libraries, the AWS OFI NCCL plugin that connects NCCL to EFA, and a Ray version the cluster operator agrees with. Building that image and reb…

↗