TensorRT

2026-10-23

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA добавляет Global Performance Tuner в TensorRT 11.1 для расширения вариантов сборки

В статье (Часть 1) представлена функция Global Performance Tuner в TensorRT 11.1: настраиваемые маршруты сборки и механизм настройки с учётом точности расширяют пространство вариантов компиляции и проверяют кандидатов по сквозной точности и производительности. Пост описывает математическую модель сборки и отбора решений, три принципа работы тюнера и ссылается на документацию и ожидаемую Часть 2 с деталями алгоритма и архитектуры.

7.0

2026-09-29

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA публикует выводы по созданию AI‑native проекта TensorRT Model Connect

NVIDIA опубликовала рассказ о проектных решениях для TensorRT Model Connect — открытой коллекции эталонных реализаций моделей на C++, построенной на TensorRT. В статье описан AI‑native подход к разработке — использование кодирующих агентов с целевой постановкой задач, изоляцией семейств моделей, отменяемыми изменениями и валидацией на GPU; указано, что по состоянию на публичное сравнение релизов 29 июля 2026 года проект охватывал 128 семейств моделей, протестированных на NVIDIA GB300.

6.0

2026-09-22

CODING · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA обновила Isaac ROS 5.0: rosidl::Buffer с CUDA-бэкендом для нулевого копирования на GPU

NVIDIA внесла CUDA-бэкенд для rosidl::Buffer в ROS 2 Lyrical и обновила все узлы в NVIDIA Isaac ROS 5.0 для использования этого бэкенда, что позволяет при выполнении условий передавать сообщения прямо на GPU без копирования. В материале показано, как агент для написания кода (навык migrate-node-to-rosidl-buffer) мигрирует узел Depth Anything 3 на TensorRT и проверяет оптимизированный путь с помощью NVIDIA Nsight Systems и проверки backend_type == "cuda".

6.0

2026-09-21

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA Dynamo-Triton 26.07 включает многопроцессорный вывод TensorRT на нескольких GPU

NVIDIA включила многопроцессорный вывод TensorRT в выпуске Dynamo-Triton 26.07 (многопроцессорная поддержка TensorRT доступна с TensorRT 11.0), что позволяет одному экземпляру KIND_MODEL использовать несколько GPU и предоставлять один gRPC-эндоинт с распределёнными коллективами на базе NCCL. В демонстрации с генерацией видео Cosmos 3 Nano распределение трансформера на 44 160 токенов по восьми GPU сократило задержку с 156,6 с до 34,2 с и показало ускорение transformer RPC до 6,09x; Dynamo-Triton 26.07 доступен для загрузки на NGC с руководством по настройке.

7.5

2026-08-28

MODELS · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA TensorRT Model Connect: развертывание открытых моделей от чекпоинта до инференса двумя командами

В публикации NVIDIA Developer представлен TensorRT Model Connect — инструмент, который, как утверждается, позволяет разработчикам доводить открытые AI‑модели от чекпоинта до инференса двумя командами, упрощая шаги конвертации и предобработки, специфичные для модели. В анонсе описан рабочий процесс; полные сведения о поддерживаемых форматах, фреймворках и системных требованиях приведены в документации NVIDIA.

6.0