Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #4032

AWS Lambda получил поддержку GPU на G‑серии: до 48 одновременных вызовов с одной моделью

AWS объявила о поддержке GPU для Lambda Managed Instances: функции в виде OCI‑контейнеров теперь могут запускаться на EC2 G‑серии (G4dn, G5, G6, G6f, Gr6, Gr6f, G6e). Параметр AcceleratorConfig задаёт объём GPU‑памяти, до 48 одновременных вызовов могут пользоваться одной копией модели в памяти GPU; AWS поставляет пять базовых GPU‑образов (CUDA, CuPy, PyTorch, vLLM, SGLang), тарификация — по ставке EC2 On‑Demand плюс 9.75% сбор и $0.20 за миллион запросов; первые тесты показали высокую производительность, но остались трения с инструментами и квотами.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. AWS объявила о поддержке GPU для Lambda Managed Instances: функции в виде OCI‑контейнеров теперь могут запускаться на EC2 G‑серии (G4dn, G5, G6, G6f, Gr6, Gr6f, G6e).
  2. Параметр AcceleratorConfig задаёт объём GPU‑памяти, до 48 одновременных вызовов могут пользоваться одной копией модели в памяти GPU; AWS поставляет пять базовых GPU‑образов (CUDA, CuPy, PyTorch, vLLM, SGLang), тарификация — по ставке EC2 On‑Demand плюс 9.75% сбор и $0.20 за миллион запросов; первые тесты показали высокую производительность, но остались трения с инструментами и квотами.
  3. Это интегрирует серверную (serverless) GPU‑инференцию в нативную экосистему AWS, упрощая развёртывание моделей и позволяя более плотную конкуренцию запросов на GPU.

ПОЧЕМУ ЭТО ВАЖНО

Это интегрирует серверную (serverless) GPU‑инференцию в нативную экосистему AWS, упрощая развёртывание моделей и позволяя более плотную конкуренцию запросов на GPU.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1