Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #14423

GPUDirect RDMA

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции

vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.

6.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

CODING · 1 ИСТОЧН. · NVIDIA Developer

DOCA GPUNetIO от NVIDIA объединяет GPU‑инициированную сеть в DOCA и открытом стеке

DOCA GPUNetIO создаёт общую основу GDA‑KI, позволяющую CUDA‑ядрам напрямую управлять Ethernet, RDMA/Verbs и DMA‑операциями, выводя CPU из критического пути приложения. NVIDIA поставляет GPUNetIO как полный компонент DOCA SDK и как облегченную открытую реализацию, и такие библиотеки, как NCCL (GIN с версии 2.27), NVSHMEM 3.7, UCX/NIXL, NVQLink и компоненты Holoscan, переходят на общий путь с отмеченными преимуществами в масштабировании мелких сообщений и низкой задержке в специализированных сценариях.

7.0