ГАЙД · CODING · #3908
Инструкция: NVIDIA Run:ai GPU Fractioning обеспечивает выделение GPU‑памяти на уровне Pod в Amazon EKS (проверено на A10G)
В открытом релизе NVIDIA Run:ai представлен GPU Fractioning Operator, который интегрируется с планировщиком Kubernetes для принудительного соблюдения контрактов по GPU‑памяти и экспорта метрик на уровень Pod. В руководстве показано, как два Pod делят один NVIDIA A10G в Amazon EKS (у каждого контракт 8 ГиБ, фактическое выделение 6 ГиБ), с использованием KAI Scheduler, MPS и образа AL2023; проверялись только лимиты памяти, не устойчивость ошибок или производительность.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В открытом релизе NVIDIA Run:ai представлен GPU Fractioning Operator, который интегрируется с планировщиком Kubernetes для принудительного соблюдения контрактов по GPU‑памяти и экспорта метрик на уровень Pod.
- В руководстве показано, как два Pod делят один NVIDIA A10G в Amazon EKS (у каждого контракт 8 ГиБ, фактическое выделение 6 ГиБ), с использованием KAI Scheduler, MPS и образа AL2023; проверялись только лимиты памяти, не устойчивость ошибок или производительность.
- Принудительное разделение GPU‑памяти на уровне Pod для GPU без MIG позволяет плотнее размещать интерактивные ноутбуки, короткие тесты и небольшие inference‑сервисы в EKS без аппаратного разделения.
ПОЧЕМУ ЭТО ВАЖНО
Принудительное разделение GPU‑памяти на уровне Pod для GPU без MIG позволяет плотнее размещать интерактивные ноутбуки, короткие тесты и небольшие inference‑сервисы в EKS без аппаратного разделения.