Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #2681

KAI Scheduler v0.18.0 интегрирует GPU Fractioning Operator с поддержкой управления памятью CUDA 13.4 для дробного шаринга GPU

Открытый оператор gpu-fractioning (в организации KAI Scheduler) работает рядом с NVIDIA GPU Operator и использует новую реализацию границ памяти в CUDA 13.4 для применения ограничений памяти и режимов вычислений на уровне задачи. KAI Scheduler v0.18.0 вводит режим NvFractions, который записывает аннотации контейнеров (объём/лимиты памяти, режим вычислений, назначение GPU), а gpu-fractioning применяет эти настройки на узлах; администраторы включают режим при установке, а задачи указывают дробные запросы GPU в аннотациях Pod.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Открытый оператор gpu-fractioning (в организации KAI Scheduler) работает рядом с NVIDIA GPU Operator и использует новую реализацию границ памяти в CUDA 13.4 для применения ограничений памяти и режимов вычислений на уровне задачи.
  2. KAI Scheduler v0.18.0 вводит режим NvFractions, который записывает аннотации контейнеров (объём/лимиты памяти, режим вычислений, назначение GPU), а gpu-fractioning применяет эти настройки на узлах; администраторы включают режим при установке, а задачи указывают дробные запросы GPU в аннотациях Pod.
  3. Это интегрирует контроль памяти CUDA 13.4 на уровне узла в Kubernetes, обеспечивая надёжные гарантии памяти для задач и плотную загрузку GPU для AI-рабочих нагрузок.

ПОЧЕМУ ЭТО ВАЖНО

Это интегрирует контроль памяти CUDA 13.4 на уровне узла в Kubernetes, обеспечивая надёжные гарантии памяти для задач и плотную загрузку GPU для AI-рабочих нагрузок.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
NVIDIA DEVELOPER ПЕРВОИСТОЧНИК
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4

Using the open-source GPU Fractioning Operator and KAI Scheduler to enforce per-workload memory limits at scale GPU Fractioning Operator is a new open-source Kubernetes operator hosted under the KAI Scheduler organization on GitHub. It runs alongside the NVIDIA GPU Operator to set up and supervise Multi-Process Service (MPS) on every GPU node, apply per-workload memory limits and compute modes, and measure memory a…

↗