ИССЛЕДОВАНИЕ · RESEARCH · #2700
arXiv:2610.36329v1 — мониторинг GPU с шагом 100 мс выявил серьёзную недоиспользованность в университетском кластере
Статья описывает лёгкий инструмент мониторинга (на базе NVIDIA DCGM), фиксирующий метрики GPU с шагом 100 мс, и результаты его развёртывания на университетском кластере (89 узлов, 319 GPU) за 10 дней и 7 399 задач от 150 пользователей. Основные выводы: более 70% задач используют менее 20% памяти GPU, у 50% средняя загрузка SM ниже 5%, у 80% задач значительное расхождение между запрошенным и фактическим временем выполнения, многопроцессорные задания демонстрируют периодичные схемы связи; код опубликован на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья описывает лёгкий инструмент мониторинга (на базе NVIDIA DCGM), фиксирующий метрики GPU с шагом 100 мс, и результаты его развёртывания на университетском кластере (89 узлов, 319 GPU) за 10 дней и 7 399 задач от 150 пользователей.
- Основные выводы: более 70% задач используют менее 20% памяти GPU, у 50% средняя загрузка SM ниже 5%, у 80% задач значительное расхождение между запрошенным и фактическим временем выполнения, многопроцессорные задания демонстрируют периодичные схемы связи; код опубликован на GitHub.
- Тонкая телеметрия указывает на реальные возможности повышения загрузки GPU через улучшенное планирование и совместную загрузку без смены аппаратуры, что может сократить очереди и расходы.
ПОЧЕМУ ЭТО ВАЖНО
Тонкая телеметрия указывает на реальные возможности повышения загрузки GPU через улучшенное планирование и совместную загрузку без смены аппаратуры, что может сократить очереди и расходы.