Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #29712

MTP3 speculative decoding

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

FlashOffloading: архитектура выгрузки KV‑кэша для LLM с длинным контекстом (vLLM‑Ascend v0.30.0)

В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки. На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.

6.0