ИССЛЕДОВАНИЕ · RESEARCH · #3187
FlashOffloading: архитектура выгрузки KV‑кэша для LLM с длинным контекстом (vLLM‑Ascend v0.30.0)
В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки. На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки.
- На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.
- Уменьшая нагрузку на HBM при сохранении низкой задержки H2D, FlashOffloading повышает эффективную конкуренцию и пропускную способность при инференсе с длинным контекстом и уже доступна в открытом фреймворке.
ПОЧЕМУ ЭТО ВАЖНО
Уменьшая нагрузку на HBM при сохранении низкой задержки H2D, FlashOffloading повышает эффективную конкуренцию и пропускную способность при инференсе с длинным контекстом и уже доступна в открытом фреймворке.