Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #2208

vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции

vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode.
  2. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.
  3. Эффективная передача KV является узким местом при разъединённой инференции, поэтому перенос настройки передачи вне критического пути может заметно снизить задержку и повысить пропускную способность при обслуживании крупных моделей.

ПОЧЕМУ ЭТО ВАЖНО

Эффективная передача KV является узким местом при разъединённой инференции, поэтому перенос настройки передачи вне критического пути может заметно снизить задержку и повысить пропускную способность при обслуживании крупных моделей.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM is an open-source inference and serving engine for large language models (LLMs). LLM inference has two distinct phases: prefill, which processes the input prompt and builds the key-value (KV) cache, and decode, which uses that cache to generate output one token at a time. These phases have different compute, memory, and scaling characteristics. Prefill-decode (P-D) disaggregation runs them on separate engine ins…

↗