vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях
vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.