Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ГАЙД · CODING · #3908

Инструкция: NVIDIA Run:ai GPU Fractioning обеспечивает выделение GPU‑памяти на уровне Pod в Amazon EKS (проверено на A10G)

В открытом релизе NVIDIA Run:ai представлен GPU Fractioning Operator, который интегрируется с планировщиком Kubernetes для принудительного соблюдения контрактов по GPU‑памяти и экспорта метрик на уровень Pod. В руководстве показано, как два Pod делят один NVIDIA A10G в Amazon EKS (у каждого контракт 8 ГиБ, фактическое выделение 6 ГиБ), с использованием KAI Scheduler, MPS и образа AL2023; проверялись только лимиты памяти, не устойчивость ошибок или производительность.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В открытом релизе NVIDIA Run:ai представлен GPU Fractioning Operator, который интегрируется с планировщиком Kubernetes для принудительного соблюдения контрактов по GPU‑памяти и экспорта метрик на уровень Pod.
  2. В руководстве показано, как два Pod делят один NVIDIA A10G в Amazon EKS (у каждого контракт 8 ГиБ, фактическое выделение 6 ГиБ), с использованием KAI Scheduler, MPS и образа AL2023; проверялись только лимиты памяти, не устойчивость ошибок или производительность.
  3. Принудительное разделение GPU‑памяти на уровне Pod для GPU без MIG позволяет плотнее размещать интерактивные ноутбуки, короткие тесты и небольшие inference‑сервисы в EKS без аппаратного разделения.

ПОЧЕМУ ЭТО ВАЖНО

Принудительное разделение GPU‑памяти на уровне Pod для GPU без MIG позволяет плотнее размещать интерактивные ноутбуки, короткие тесты и небольшие inference‑сервисы в EKS без аппаратного разделения.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1