РЕЛИЗ · CODING · #2505
NVIDIA добавляет Global Performance Tuner в TensorRT 11.1 для расширения вариантов сборки
В статье (Часть 1) представлена функция Global Performance Tuner в TensorRT 11.1: настраиваемые маршруты сборки и механизм настройки с учётом точности расширяют пространство вариантов компиляции и проверяют кандидатов по сквозной точности и производительности. Пост описывает математическую модель сборки и отбора решений, три принципа работы тюнера и ссылается на документацию и ожидаемую Часть 2 с деталями алгоритма и архитектуры.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (Часть 1) представлена функция Global Performance Tuner в TensorRT 11.1: настраиваемые маршруты сборки и механизм настройки с учётом точности расширяют пространство вариантов компиляции и проверяют кандидатов по сквозной точности и производительности.
- Пост описывает математическую модель сборки и отбора решений, три принципа работы тюнера и ссылается на документацию и ожидаемую Часть 2 с деталями алгоритма и архитектуры.
- Расширение маршрутов сборки и сквозная проверка двигателей помогает бороться с «разрастанием эвристик» и делает настройку TensorRT устойчивее для разных моделей и сред развертывания.
ПОЧЕМУ ЭТО ВАЖНО
Расширение маршрутов сборки и сквозная проверка двигателей помогает бороться с «разрастанием эвристик» и делает настройку TensorRT устойчивее для разных моделей и сред развертывания.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1NVIDIA TensorRT builds inference engines by making interdependent scheduling decisions across graph transformations, fusion, implementation selection, memory placement, and quantization. A mathematical framework models compilation as a builder algorithm generating candidate solutions and a searching algorithm selecting the fastest feasible one under accuracy constraints. The Global Performance Tuner, released in Te…
The Global Performance Tuner in TensorRT 11.1 represents alternative scheduling strategies as explicit, searchable build routes composed of compiler knob combinations. TensorRT exposes C++ APIs to apply a fixed build route, inspect the current route, and discover the full tunable configuration space of more than 200 knobs with their allowed values and defaults. trtexec implements a tuning loop that expands a route …