Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3187

FlashOffloading: архитектура выгрузки KV‑кэша для LLM с длинным контекстом (vLLM‑Ascend v0.30.0)

В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки. На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В работе предложена FlashOffloading — архитектура с хранением KV‑кэша в DRAM, выполняющая полную выгрузку кэша на этапах prefill и decode и добавляющая роллинг‑HBM кэш, «горячий» кэш для декода, обратный разреженный индекс и перекрытие вычислений и загрузок для минимизации задержки.
  2. На плате Ascend910C в PD‑дисагрегированной конфигурации с GLM‑5.2 и MTP3‑спекулятивным декодированием FlashOffloading увеличила пропускную способность prefill до 1.38× и decode до 1.91× при ограничении TPOT 30 мс; реализация включена в открытый релиз vLLM‑Ascend v0.30.0.
  3. Уменьшая нагрузку на HBM при сохранении низкой задержки H2D, FlashOffloading повышает эффективную конкуренцию и пропускную способность при инференсе с длинным контекстом и уже доступна в открытом фреймворке.

ПОЧЕМУ ЭТО ВАЖНО

Уменьшая нагрузку на HBM при сохранении низкой задержки H2D, FlashOffloading повышает эффективную конкуренцию и пропускную способность при инференсе с длинным контекстом и уже доступна в открытом фреймворке.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1