НОВОСТЬ · CODING · #1378
NVIDIA выпустила C++ примеры DIN Deploy с ONNX Runtime и TensorRT RTX
Do Inference Now (DIN) Deploy — это открытый репозиторий C++ примеров, который сочетает ONNX Runtime с исполняющим провайдером NVIDIA TensorRT RTX для ускорения локального инференса на Windows и Linux. Примеры охватывают ASR (OpenAI Whisper, Parakeet TDT, Nemotron), сегментацию Meta SAM 2.1 и генерацию изображений FLUX.2-klein-4B, включают CMake-пресеты (x86-64, Arm64), демонстрируют графическую интеграцию через ONNX Runtime 1.25 (Vulkan/DirectX) и приводят показатели ускорения на GPU (например, 206x для Parakeet TDT, 39x для Nemotron, SAM 2.1 — 38.3 FPS vs 0.5 FPS на CPU).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Do Inference Now (DIN) Deploy — это открытый репозиторий C++ примеров, который сочетает ONNX Runtime с исполняющим провайдером NVIDIA TensorRT RTX для ускорения локального инференса на Windows и Linux.
- Примеры охватывают ASR (OpenAI Whisper, Parakeet TDT, Nemotron), сегментацию Meta SAM 2.1 и генерацию изображений FLUX.2-klein-4B, включают CMake-пресеты (x86-64, Arm64), демонстрируют графическую интеграцию через ONNX Runtime 1.25 (Vulkan/DirectX) и приводят показатели ускорения на GPU (например, 206x для Parakeet TDT, 39x для Nemotron, SAM 2.1 — 38.3 FPS vs 0.5 FPS на CPU).
- Эти примеры дают разработчикам практический путь от чекпоинтов Hugging Face до нативных C++ приложений с аппаратным ускорением через ONNX Runtime и TensorRT RTX, снижая трения интеграции.
ПОЧЕМУ ЭТО ВАЖНО
Эти примеры дают разработчикам практический путь от чекпоинтов Hugging Face до нативных C++ приложений с аппаратным ускорением через ONNX Runtime и TensorRT RTX, снижая трения интеграции.