NVIDIA показала рабочий процесс TensorRT Edge-LLM для запуска Nemotron-3.5 Lightning на DGX Spark 64GB
NVIDIA опубликовала руководство по использованию TensorRT Edge-LLM (примеры тестировались с Edge-LLM 0.11.1 и TensorRT 10.16.1.11) на DGX Spark 64GB для прототипирования, дообучения и тестирования встраиваемых моделей. CLI trtedge загружает модели и создаёт оптимизированные TensorRT-движки, поддерживает локальный OpenAI-совместимый API и может включать DSpark speculative decoding (увеличение среднего генерирования с 73.4 до 126.9 токен/с на HumanEval при пиковом использовании памяти 27.9 ГБ).