Tech Meridian
← К СУЩНОСТЯМ
КОМПАНИЯ · ENTITY #3414
Хронология связанных событий, источники и контекст из новостной базы.
AWS опубликовала руководство и выпустила Ray LLM Deep Learning Container (DLC), который позволяет развернуть одну большую модель на нескольких GPU‑нoдах в Amazon EKS с раздельными этапами prefill и decode. Контейнер включает vLLM, Ray Serve LLM, NIXL для передачи KV‑кэша и стек EFA, предоставляет OpenAI‑совместимый endpoint и содержит вспомогательный скрипт (build_pd_openai_app) и пример в репозитории.
Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO). В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.
NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.
Allow Google Analytics to measure visits? It stays off until you choose. You can change your choice at any time.