РЕЛИЗ · CODING · #1879
AWS запускает Ray LLM DLC для мульти‑нодовой инференции LLM на Amazon EKS
AWS опубликовала руководство и выпустила Ray LLM Deep Learning Container (DLC), который позволяет развернуть одну большую модель на нескольких GPU‑нoдах в Amazon EKS с раздельными этапами prefill и decode. Контейнер включает vLLM, Ray Serve LLM, NIXL для передачи KV‑кэша и стек EFA, предоставляет OpenAI‑совместимый endpoint и содержит вспомогательный скрипт (build_pd_openai_app) и пример в репозитории.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- AWS опубликовала руководство и выпустила Ray LLM Deep Learning Container (DLC), который позволяет развернуть одну большую модель на нескольких GPU‑нoдах в Amazon EKS с раздельными этапами prefill и decode.
- Контейнер включает vLLM, Ray Serve LLM, NIXL для передачи KV‑кэша и стек EFA, предоставляет OpenAI‑совместимый endpoint и содержит вспомогательный скрипт (build_pd_openai_app) и пример в репозитории.
- Это сокращает ручную настройку, предоставляя проверенный мульти‑нодовый стек для инференса и позволяя использовать PD‑дисагрегацию для большей пропускной способности и меньшей задержки при крупных развертываниях LLM.
ПОЧЕМУ ЭТО ВАЖНО
Это сокращает ручную настройку, предоставляя проверенный мульти‑нодовый стек для инференса и позволяя использовать PD‑дисагрегацию для большей пропускной способности и меньшей задержки при крупных развертываниях LLM.