AWS запускает Ray LLM DLC для мульти‑нодовой инференции LLM на Amazon EKS
AWS опубликовала руководство и выпустила Ray LLM Deep Learning Container (DLC), который позволяет развернуть одну большую модель на нескольких GPU‑нoдах в Amazon EKS с раздельными этапами prefill и decode. Контейнер включает vLLM, Ray Serve LLM, NIXL для передачи KV‑кэша и стек EFA, предоставляет OpenAI‑совместимый endpoint и содержит вспомогательный скрипт (build_pd_openai_app) и пример в репозитории.