НОВОСТЬ · CODING · #2207
vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях
vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста.
- В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.
- Снижение повторных вычислений KV уменьшает нагрузку на ускорители и помогает поддерживать низкое TTFT по мере роста истории разговоров.
ПОЧЕМУ ЭТО ВАЖНО
Снижение повторных вычислений KV уменьшает нагрузку на ускорители и помогает поддерживать низкое TTFT по мере роста истории разговоров.