KV cache

2026-10-28

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

WAKMan — менеджер KV-кэша с учётом нагрузки для LLM-серверов

WAKMan — это менеджер KV-кэша, учитывающий нагрузку (arXiv:2610.36355v1), который выбирает политику вытеснения по живому трафику без чтения подсказок и знаний о типах запросов, чтобы повысить долю попаданий при префиксном кэшировании для LLM-серверов. В тестах на смесях одиночных, многошаговых и агентных запросов WAKMan увеличивает показатель попаданий примерно на 5 процентных пунктов по сравнению с LRU и показывает наименьший средний и наихудший разрыв от оптимума среди проверенных политик.

6.0

2026-10-27

RESEARCH · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Глава Momento Хаваджа Шамс с докладом «Serving LLMs at Scale: The Hidden KV Cache Advantage» на QCon AI

Хаваджа Шамс (сооснователь и CEO Momento) на QCon AI изложил подходы из области распределённых систем для эффективного масштабирования инференса LLM, сосредоточившись на использовании GPU, «провалах» памяти KV‑кэша, многоуровневом хранении, снижении хвостовой латентности и разделённых архитектурах prefill/decode. Он представил эти приёмы как способы повысить производительность, экономичность и доступность LLM‑флота в продакшне.

5.0

2026-10-22

CODING · 1 ИСТОЧН. · MIT Technology Review AI

Проектирование инфраструктуры развёртывания ИИ, рассчитанной на длительную эксплуатацию

Материал утверждает, что конкурентное преимущество в корпоративном ИИ всё чаще определяется не выбором модели, а инфраструктурой развёртывания — инженерной оболочкой (архитектура, управление памятью, планирование, оптимизации), которая превращает модель в надёжную и экономичную продуктивную функцию. Авторы призывают проектировать архитектуры под требования рабочей нагрузки (латентность, параллелизм, GPU‑память, стоимость), измерять узкие места перед оптимизацией и делать систему адаптируемой к изменениям моделей, железа и методов.

6.0

2026-10-21

RESEARCH · 1 ИСТОЧН. · Hugging Face

VocabX: адаптация токенизатора сократила стоимость вывода на 77% для Qwen3-4B (проверка эссе)

Исследователи/инженеры применили метод VocabX для перестройки токенизатора в системе автоматической проверки эссе на португальском, основанной на Qwen3-4B, сохранив ту же базовую модель, данные и рецепт обучения; они измерили сокращение стоимости вывода на 77% за счёт оптимизации словаря исходя из стоимости генерации токена, а не частоты токенов. Эти данные взяты из статьи, находящейся на рецензировании, и могут измениться до публикации.

7.0

2026-10-19

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

2026-09-30

MODELS · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA выпустила пример развертывания HSTU в Dynamo-Triton для production-инференса

В репозитории recsys-examples NVIDIA показан сквозной workflow инференса для генеративного рекомендателя HSTU с использованием Dynamo-Triton, PyTorch AOTI, FlexKV и NV Embedding Cache. На GPU RTX PRO 6000 Blackwell конфигурация с GPU KV-кэшированием показала до 5,93× меньшую задержку (batch size 8, 100% попаданий в кэш) по сравнению с тем же AOTI без кэша; руководство описывает экспорт, валидацию (Python и нативный C++) и деплой.

7.0

2026-09-10

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker Inference добавляет маршрутизацию по префиксу для снижения задержки LLM

Amazon SageMaker Inference теперь поддерживает маршрутизацию по префиксу — стратегия, которая направляет запросы с одинаковым префиксом подсказки на один и тот же экземпляр, чтобы KV-кеш оставался «тёплым». В бенчмарках на Llama 3.1 70B это снизило P50 time-to-first-token до 77% и увеличило попадания в KV-кеш примерно с 25% до более 80%.

7.0

2026-09-10

MODELS · 1 ИСТОЧН. · DeepSeek

DeepSeek представляет DeepSeek‑V4.1‑Flash с новой причинно‑кодировочной архитектурой и снижением стоимости

DeepSeek объявила DeepSeek‑V4.1‑Flash — меньшую модель с нативным пониманием изображений на новой Causal Encoder–Decoder архитектуре (8B активных параметров для входа, 16B для выхода), обновлённой предобучением и более крупным RL‑посттренингом, а также компрессией KV‑кеша. Компания выводит из эксплуатации варианты V4‑Flash, перенаправит запросы deepseek-v4-pro на V4.1‑Flash с 04:00 UTC 14 сентября 2026 года и вводит новые тарифы с 04:00 UTC 10 сентября 2026 года; партнёры WorkBuddy, CodeBuddy и OpenCode уже поддерживают модель.

8.0