НОВОСТЬ · CODING · #2659
Inclusion AI ускоряет инференс Ling-3.0-flash на DGX Spark с Humming, FP8 LM-head и NEXTN
Inclusion AI провела оценку Ling-3.0-flash (124B MoE, 5.1B активных параметров/токен) на NVIDIA DGX Spark при batch size 1 и обнаружила, что декодирование ограничено пропускной способностью памяти из-за маршрутизации MoE и LM-head. Замена FlashInfer MXFP4 на библиотеку Humming снизила время на токен с 27.71 мс до 25.35 мс (−9.3%), онлайн-квантизация LM-head в FP8 вдвое сократила чтение весов (вместе с Humming дала +21.7% пропускной способности), а многотокенное спекулятивное декодирование через NEXTN достигло 3.90 принятых токенов за раунд на синтетической нагрузке (+185.1%); все три оптимизации вместе дали +42.5% пропускной способности и −24.5% средней задержки на GSM8K без ощутимого ухудшения точности. Инструкции по развёртыванию в Ling cookbook.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Inclusion AI провела оценку Ling-3.0-flash (124B MoE, 5.1B активных параметров/токен) на NVIDIA DGX Spark при batch size 1 и обнаружила, что декодирование ограничено пропускной способностью памяти из-за маршрутизации MoE и LM-head.
- Замена FlashInfer MXFP4 на библиотеку Humming снизила время на токен с 27.71 мс до 25.35 мс (−9.3%), онлайн-квантизация LM-head в FP8 вдвое сократила чтение весов (вместе с Humming дала +21.7% пропускной способности), а многотокенное спекулятивное декодирование через NEXTN достигло 3.90 принятых токенов за раунд на синтетической нагрузке (+185.1%); все три оптимизации вместе дали +42.5% пропускной способности и −24.5% средней задержки на GSM8K без ощутимого ухудшения точности.
- Инструкции по развёртыванию в Ling cookbook.
ПОЧЕМУ ЭТО ВАЖНО
Это показывает, что практические изменения в ядрах, квантизации и спекулятивном декодировании могут заметно улучшить пропускную способность и задержки инференса MoE на DGX Spark (batch‑1) без ощутимой потери качества, давая прикладные рекомендации по развёртыванию.