FlashOffloading: архитектура выгрузки KV‑кэша для LLM с длинным контекстом (vLLM‑Ascend v0.30.0)
В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки. На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.