ГАЙД · COMPANIES · #2850
NVIDIA показала рабочий процесс TensorRT Edge-LLM для запуска Nemotron-3.5 Lightning на DGX Spark 64GB
NVIDIA опубликовала руководство по использованию TensorRT Edge-LLM (примеры тестировались с Edge-LLM 0.11.1 и TensorRT 10.16.1.11) на DGX Spark 64GB для прототипирования, дообучения и тестирования встраиваемых моделей. CLI trtedge загружает модели и создаёт оптимизированные TensorRT-движки, поддерживает локальный OpenAI-совместимый API и может включать DSpark speculative decoding (увеличение среднего генерирования с 73.4 до 126.9 токен/с на HumanEval при пиковом использовании памяти 27.9 ГБ).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA опубликовала руководство по использованию TensorRT Edge-LLM (примеры тестировались с Edge-LLM 0.11.1 и TensorRT 10.16.1.11) на DGX Spark 64GB для прототипирования, дообучения и тестирования встраиваемых моделей.
- CLI trtedge загружает модели и создаёт оптимизированные TensorRT-движки, поддерживает локальный OpenAI-совместимый API и может включать DSpark speculative decoding (увеличение среднего генерирования с 73.4 до 126.9 токен/с на HumanEval при пиковом использовании памяти 27.9 ГБ).
- Это снижает порог подготовки для разработки и прототипирования LLM-приложений на краю, предоставляя единый рантайм, CLI‑процесс и локальный API, совместимый с распространёнными инструментами.
ПОЧЕМУ ЭТО ВАЖНО
Это снижает порог подготовки для разработки и прототипирования LLM-приложений на краю, предоставляя единый рантайм, CLI‑процесс и локальный API, совместимый с распространёнными инструментами.