ГАЙД · CODING · #2432
Учебник NVIDIA: чтение данных в память GPU с KvikIO и GPUDirect Storage
NVIDIA опубликовала учебник, показывающий, как KvikIO — высокоуровневая библиотека для Python/C++ над cuFile — читает данные прямо в память GPU и как проверить, был ли задействован ускоренный путь GPUDirect Storage (GDS). Руководство описывает логику выбора пути в KvikIO и cuFile, ключевые параметры времени выполнения (например, KVIKIO_COMPAT_MODE, KVIKIO_GDS_THRESHOLD, cufile.json), сбор статистики cuFile (CUFILE_STATS_LEVEL=3) и проверку через gds_stats; тестировалось на системе с H100, CUDA 13.3 и cuFile 1.18.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA опубликовала учебник, показывающий, как KvikIO — высокоуровневая библиотека для Python/C++ над cuFile — читает данные прямо в память GPU и как проверить, был ли задействован ускоренный путь GPUDirect Storage (GDS).
- Руководство описывает логику выбора пути в KvikIO и cuFile, ключевые параметры времени выполнения (например, KVIKIO_COMPAT_MODE, KVIKIO_GDS_THRESHOLD, cufile.json), сбор статистики cuFile (CUFILE_STATS_LEVEL=3) и проверку через gds_stats; тестировалось на системе с H100, CUDA 13.3 и cuFile 1.18.
- Эффективная загрузка больших наборов данных прямо в память GPU сокращает использование CPU и помогает поддерживать пропускную способность ускорителей при масштабном обучении и выводе моделей.
ПОЧЕМУ ЭТО ВАЖНО
Эффективная загрузка больших наборов данных прямо в память GPU сокращает использование CPU и помогает поддерживать пропускную способность ускорителей при масштабном обучении и выводе моделей.