vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции
vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.