vLLM

2026-10-30

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA упаковывает Dynamo 1.4.2 в проверенные рецепты для Kubernetes с помощью AICR

Платформа NVIDIA DSX AI Factory включает Dynamo 1.4.2 и его зависимости кластера в воспроизводимые, проверяемые рецепты рантайма через NVIDIA AI Cluster Runtime (AICR). AICR фиксирует версии компонентов и требования к GPU/DR A, планированию, сетям и мониторингу, предлагает пятишаговый процесс (снимок кластера, генерация рецепта, рендер бандла, развёртывание через Helmfile/GitOps, валидация) и описывает варианты маршрутизации (TCP + ZMQ) с интеграцией через Gateway API/EPP; NATS теперь доступен по выбору.

6.0

2026-10-28

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

WAKMan — менеджер KV-кэша с учётом нагрузки для LLM-серверов

WAKMan — это менеджер KV-кэша, учитывающий нагрузку (arXiv:2610.36355v1), который выбирает политику вытеснения по живому трафику без чтения подсказок и знаний о типах запросов, чтобы повысить долю попаданий при префиксном кэшировании для LLM-серверов. В тестах на смесях одиночных, многошаговых и агентных запросов WAKMan увеличивает показатель попаданий примерно на 5 процентных пунктов по сравнению с LRU и показывает наименьший средний и наихудший разрыв от оптимума среди проверенных политик.

6.0

2026-10-25

COMPANIES · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Google открыла исходники ML Drift — GPU-движок для локального AI-инференса

Google представила ML Drift — кросс-платформенный GPU-движок с открытым исходным кодом (Apache 2.0) для локального AI-инференса, абстрагирующий OpenGL ES, OpenCL, Metal и WebGPU. ML Drift — ядро LiteRT с едиными шейдерами через виртуализацию тензоров, поддержкой 5D-тензоров и аппаратными оптимизациями для Arm, Intel и Qualcomm; компания заявляет о замене устаревшего делегата TensorFlow Lite и приводит бенчмарки и ускорения в Chrome, YouTube Shorts, Photos, Adobe и Snapchat.

8.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA официально поддерживает восьминодовые кластеры DGX Spark с 1 ТБ унифицированной памяти для запуска передовых моделей

На GTC Berlin NVIDIA объявила официальную поддержку восьминодовых кластеров DGX Spark с 1 ТБ унифицированной памяти, что позволяет запускать локально передовые модели, включая полный GLM 5.3 (753B) от Z.ai. Компания представила оптимизированный для Spark коллективный бэкенд RoCEnante (включённый в FlashInfer), снижающий задержки all-reduce — по данным NVIDIA, это даёт 4.43× ускорение декодирования на восьми узлах (против 3.05× без него) — и опубликовала бенчмарки (например, Qwen3.8-27B NVFP4: ~12 → 52 токена/сек, GLM 5.3 ≈80 TPS, 7.79× ускорение предподготовки с 97.4% эффективности для nanochat); также отмечены NeMo Switchyard, vLLM и планируемая поддержка восьминодовых кластеров в NVIDIA Sync.

7.0

2026-10-21

MODELS · 1 ИСТОЧН. · Hugging Face

IBM обновляет набор Granite Speech: granite-speech-5.0-2b и две переработанные модели

IBM выпустила три обновления семейства Granite Speech: новую модель granite-speech-5.0-2b и доработанные granite-speech-5.0-470m-turboctc и granite-speech-4.1-2b-plus. Модель 5.0-2b (обучена примерно на 390 000 часах публичного аудио) расширяет многоязычную транскрипцию и перевод и повышает устойчивость английского ASR; ревизия Turbo CTC (470M) добавляет мультиязычность, нативную пунктуацию и ускорение выполнения (~19 870 RTFx); обновление 4.1-2b-plus улучшает атрибуцию говорящих, таймстемпы, результаты на длинных записях и привязку ключевых слов. Все модели распространяются под Apache 2.0 и поддерживаются в Transformers, vLLM, llama.cpp и mlx-audio.

7.0

2026-10-20

MODELS · 1 ИСТОЧН. · The Decoder

Deepseek открыла исходники DeepInfer — движка инференса для V4.1-Flash

Deepseek выпустила в открытый доступ DeepInfer под лицензией Apache 2.0. DeepInfer, основанный на vLLM с оптимизированными вычислительными ядрами, распределённой обработкой по нескольким чипам и ускоренными приёмами генерации текста, обеспечивает работу модели V4.1-Flash; компания также выложила deepseek-recipe для воспроизведения обработки токенов официального API и обещает открывать код будущих моделей.

7.0

2026-10-20

MODELS · 1 ИСТОЧН. · AWS Machine Learning

GPT-OSS-20B дообучили для многоязычного рассуждения на Amazon SageMaker HyperPod

Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre). Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.

6.0

2026-10-19

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции

vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.

6.0

2026-10-19

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

2026-10-18

MODELS · 4 ИСТОЧН. · Google · Google DeepMind · The Verge AI · The Decoder

Google выпускает Gemini 4 Argon — новый frontier-модель, доступную по всему миру

Google объявила о глобальной доступности Gemini 4 Argon для разработчиков и предприятий через API в AI Studio и платформу Gemini, а также для подписчиков Google AI Ultra/Pro в Antigravity, приложении Gemini и режиме AI в Поиске. Компания позиционирует Argon как высокоточный frontier‑модель для сложных многошаговых задач в кодинге, финансах, юриспруденции, кибербезопасности и науке, с заявленным первым местом в Vals Index; в источнике приводятся кейсы внутри Google (рефакторинг Chrome, оптимизации ADK), ускорения (xTB и Gemma через vLLM) и стартовая цена ($2 за млн входных токенов, $10 за млн выходных, кэшированные входы со скидкой 95%).

9.0

2026-10-16

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Reflection выпустила Beam 1.0 — открытая модель для агентного кодирования с 501 млрд параметров, доступна на AWS

Reflection AI выпустила Beam 1.0 — открытую смесь экспертов (sparse MoE) для агентного кодирования и долгих задач (501 млрд общих параметров, 23 млрд активных, контекст до 1 млн токенов). Весы Beam размещены на Hugging Face под лицензией Apache 2.0, модель доступна через Amazon SageMaker JumpStart в регионах US East (N. Virginia и Ohio) с вариантами развёртывания через JumpStart real-time, SageMaker HyperPod Inference или собственные среды с SGLang и vLLM; контрольные точки предлагаются в BF16, FP8 и NVFP4.

8.0

2026-10-16

MODELS · 1 ИСТОЧН. · Hugging Face

Reflection выпустила Beam — 501B MoE открытая модель с контекстом 1M токенов (Apache‑2.0)

Reflection опубликовала Beam — 501-миллиардную модель Mixture-of-Experts на Hugging Face под лицензией Apache‑2.0. Beam исполняет примерно 23B параметров на токен, поддерживает текстовый ввод с контекстом до 1M токенов, ориентирована на кодирование и агентные задачи, поставляется с Rust‑ха́рнессом для производительности, имеет day‑0 поддержку в transformers, vLLM и SGLang и рецепты для инференса, SFT и RL.

8.0

2026-10-15

MODELS · 1 ИСТОЧН. · Hugging Face

Granite Switch 4.1 интегрирует адаптеры для решений и самый быстрый OpenASR-модель в одном endpoint

Granite Switch 4.1 (8B и 30B) объединяет общий Decision aLoRA, специализированный Guardian aLoRA (по заявлению команды превзойдёт несколько моделей по задачам безопасности) и Granite-Speech-5.0-Turbo-CTC (лидер OpenASR) в одном хостируемом endpoint. Адаптеры реализованы как кэш-эффективные Activated LoRAs и повторно используют KV-кэш базовой модели, что оставляет объём VRAM близким к базовой модели и позволяет быстро переключаться между чатом, принятием решений и распознаванием речи; демонстрация на Hugging Face показывает транскрипцию, сводки и проверку безопасности в реальном времени.

7.0

2026-10-15

MODELS · 4 ИСТОЧН. · Hugging Face · NVIDIA Developer · The Decoder · TechCrunch AI

Meta представила Muse Spark Open — открытая мультимодальная MoE-модель на 816 млрд параметров

Meta выпустила Muse Spark Open — открытую MoE-модель примерно на 816 млрд параметров (≈42 млрд активных на токен), принимающую текст, изображения, аудио и видео и поддерживающую окно контекста до 1 048 576 токенов. По словам Meta, модель оптимизирована для агентных рабочих потоков разработки (чтение, запись, отладка кода и вызовы инструментов); чекпоинты доступны в BF16 (safetensors, ≈1,5 ТБ) и NVFP4 (4‑бит) для GPU NVIDIA Blackwell.

9.0

2026-10-14

CODING · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

SDK Antigravity от Google добавляет поддержку локальных моделей для гибридных рабочих процессов агентов

Google добавила в SDK Antigravity поддержку локальных моделей, позволяя разработчикам запускать «строителей» агентов на устройстве, в то время как «архитектор» может оставаться в облаке. Начальная реализация ориентирована на запуск Gemma 4 26B A4B через LiteRT, но SDK также поддерживает OpenAI‑совместимые локальные серверы (LocalOpenAIAgentConfig) — например, Ollama, LM Studio и vLLM; по сообщению Google, в демонстрации около 97,2% токенов обрабатывались локально, и исходный код не загружался в облако.

7.0

2026-10-12

RESEARCH · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA и Dao AI Lab публикуют ReplaySSM для ускорения декодирования гибридных моделей со SSM

NVIDIA и Dao AI Lab (Принстон) выпустили ReplaySSM (статья на arXiv, код на GitHub) — метод кэширования недавних входов SSM вместо полного состояния, который примерно вдвое сокращает трафик состояния и ускоряет ядра декодирования SSM на ~1.46–1.80× (batch 256 на Blackwell Ultra B300). ReplaySSM также упрощает откат при speculative decoding (пропускная способность выше на 1.85–2.10× для моделей класса 120B) и поддерживает смешанную точность (в 3 из 4 моделей погрешность остаётся в пределах ~2 процентных пунктов от FP32 на GPQA‑Diamond); решение интегрировано в TensorRT‑LLM, vLLM и FlashInfer и используется в продакшене в GLM‑5.3‑Flash и Kimi‑K3.

8.0

2026-10-12

CODING · 1 ИСТОЧН. · AWS Machine Learning

AWS запускает Ray LLM DLC для мульти‑нодовой инференции LLM на Amazon EKS

AWS опубликовала руководство и выпустила Ray LLM Deep Learning Container (DLC), который позволяет развернуть одну большую модель на нескольких GPU‑нoдах в Amazon EKS с раздельными этапами prefill и decode. Контейнер включает vLLM, Ray Serve LLM, NIXL для передачи KV‑кэша и стек EFA, предоставляет OpenAI‑совместимый endpoint и содержит вспомогательный скрипт (build_pd_openai_app) и пример в репозитории.

6.0

2026-10-01

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Decode-Latency Feedback Prefill (DLFP): безмодельный контроллер для размеров prefill

В статье (arXiv:2609.38386v1) предложен Decode-Latency Feedback Prefill (DLFP) — безмодельный контроллер, реализованный в vLLM, который адаптивно изменяет размеры prefill для работы, перекрывающейся с активной генерацией. На Qwen3-0.6B (BF16) на одной NVIDIA A100 80 GB авторы за три пары из 100 запросов сообщили среднее сокращение P99 межтокенной задержки на 27.7% (парный 95% ДИ 21.0%–34.3%) при точном совпадении вывода и без нарушения SLO, но при увеличении P99 времени до первого токена на 34.8%; метод не обобщился на Qwen3-8B, Qwen3-32B или двух GPU в тензорном параллелизме, что авторы связывают с использованием асинхронного интервала планировщика как прокси для времени завершения итерации на GPU.

6.0

2026-09-29

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA выпустила VSS Blueprint 3.3 с навыком Build Vision Agent и Adaptive EVS

Metropolis VSS Blueprint 3.3 от NVIDIA добавляет навык vss-build-vision-ai для сборки многопоточных визуальных AI-развертываний по одному запросу и вводит Adaptive EVS для отсечения избыточных визуальных токенов и пакетной обработки VLM. В демонстрации утверждается развертывание агента для линии розлива менее чем за 30 минут на RTX PRO 6000 Blackwell; в тестах NVIDIA указывает до ≈80% меньше входных VLM-токенов для 60-минутного сводного отчёта и увеличение числа одновременных потоков на 46%; репозиторий доступен, живая демонстрация запланирована на 1 октября в 9:00 PT.

7.0

2026-09-28

CODING · 1 ИСТОЧН. · AWS Machine Learning

Развёртывание Qwen3-TTS со стриминговым выводом на SageMaker через vLLM-Omni v1.5 для приложений реального времени

AWS опубликовала пошаговое руководство (Часть 1) по развёртыванию модели синтеза речи Qwen3-TTS на Amazon SageMaker AI с использованием Deep Learning Container vLLM-Omni v1.5. В материале показано, как по одному постоянному двухстороннему соединению (SageMaker bidirectional streaming) отправлять текст и получать аудиочасти через нативный WebSocket‑маршрут vLLM-Omni (v1/audio/speech/stream), а также приведён пример на Gradio; серия также охватит другие специализированные DLC (WhisperX, llama.cpp).

6.0

2026-09-25

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Запуск пост‑обучения SkyRL (GRPO) для Qwen3‑VL‑8B на Amazon SageMaker HyperPod

Amazon показала запуск открытой библиотеки SkyRL на SageMaker HyperPod (EKS) для пост‑обучения визуально‑языковой модели Qwen3‑VL‑8B методом Group Relative Policy Optimization (GRPO). На HyperPod Ray‑кластере с общим хранилищем FSx решение повысило процент решения лабиринтов с 43,75% до более чем 95% на фиксированном наборе из 64 лабиринтов, сочетая vLLM‑инференс и FSDP‑шардинг политики с LoRA‑адаптерами.

6.0

2026-09-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI внедряет встроенные concurrency sweep’ы для подбора размера эндпойнтов генеративного ИИ

Amazon описывает использование concurrency sweep’ов, встроенных в SageMaker AI Inference Recommendations, для тестирования эндпойнтов генеративного ИИ путём увеличения уровня одновременных запросов и измерения пропускной способности и задержек. В статье показано развертывание NVIDIA Nemotron-3 Nano 30B на ml.g7e.2xlarge с контейнером vLLM и запуск CreateAIBenchmarkJob (профиль нагрузки задаётся через CreateAIWorkloadConfig) для определения точки насыщения и оптимального размера инстансов.

6.0

2026-09-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

RBS-Attention: адаптивный по радиусу двухветвевой разреженный prefill для LLM с длинным контекстом

Препринт arXiv:2609.20971v1 представляет RBS-Attention — обучение-не требующий метод разреженного prefill с двумя ветвями: базовой на центроиде и «спасающей» на основе радиуса, чтобы избежать «усредняющего разведения» при выборе блоков для attention с длинным контекстом. На H100 заявлены ускорения: до 20.65× для standalone prefill-attention, 11.92× для vLLM prefill-attention и 5.97× ускорение времени до первого токена при 128K на Qwen3-30B-A3B-Instruct-2507-FP8 с сохранением близкой плотной точности (88.65 vs 89.52 по RULER на Qwen3-32B); также использованы наборы LongBench-v2, InfiniteBench и Video-MME.

7.0

2026-09-18

COMPANIES · 1 ИСТОЧН. · NVIDIA Developer

NVIDIA представляет AIPerf — мультипроцессный инструмент для бенчмаркинга LLM

NVIDIA AIPerf заменяет GenAI-Perf полностью переработанной мультипроцессной архитектурой, чтобы исключить узкие места на стороне клиента при нагрузочном тестировании инференса LLM. Инструмент поддерживает более 15 типов endpoint, публичные наборы данных и форматы воспроизведения трейсoв (ShareGPT, Mooncake, Baseten, WEKA/AgentX), настраиваемые шаблоны загрузки и выводит метрики TTFT, ITL, перцентильные задержки и телеметрию GPU при наличии DCGM или pynvml.

6.0

2026-09-18

CODING · 1 ИСТОЧН. · AWS Machine Learning

Hugging Face выпустила шесть open‑source Skills для развёртывания моделей в Amazon SageMaker AI через coding‑агентов

Hugging Face опубликовала шесть open‑source «Skills» (на GitHub), позволяющих coding‑агентам полностью автоматизировать развёртывание моделей Hugging Face в Amazon SageMaker AI. Skills помогают выбрать корректный образ из AWS Deep Learning Containers, создать real‑time или serverless endpoint с автоскейлингом и оповещениями CloudWatch, обеспечивают проверяемый путь удаления ресурсов и работают через Python и AWS CLI, предотвращая дорогостоящие или нестабильные ошибки агентов.

6.0

2026-09-16

CODING · 1 ИСТОЧН. · Cohere

Cohere опубликовала megakernel-сервер для North Mini Code с ускорением декодирования на H100

Cohere описывает сервер на основе megakernel для модели North Mini Code (30B), работающий в BF16 на одной NVIDIA H100 и демонстрирующий ускорение 1.25×–1.41× в энд‑ту‑энд сравнении с vLLM; при batch=1 заявлены 292 ток/с (62% от теоретического предела), что примерно в 1.58× быстрее vLLM. Система поддерживает необходимые для продакшна функции (непрерывное батчирование, постраничное внимание, неравные длины), совместима с OpenAI API, реализована в одном CUDA‑файле, код опубликован на GitHub.

7.0

2026-09-09

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Развёртывание Qwen3.8-2.4T-A95B на Amazon SageMaker HyperPod с vLLM

AWS Machine Learning опубликовал пошаговую инструкцию по развёртыванию Qwen3.8-2.4T-A95B — открытой модели с 2,4 триллионами параметров — на Amazon SageMaker HyperPod с использованием vLLM. Руководство описывает подготовку кластера, NVFP4-квантизацию и создание совместимого с OpenAI эндпоинта с встроенным рассуждением, вызовом инструментов и нативным MTP speculative decoding.

7.0

2026-03-16

MODELS · 1 ИСТОЧН. · Mistral AI

Mistral выпускает Small 4: 119B MoE мультимодальная модель с контекстом 256k (Apache 2.0)

Mistral объявила Mistral Small 4 — гибридную модель Mixture-of-Experts на 119 миллиардов параметров (128 экспертов, 4 активных), поддерживающую текст и изображения, с окном контекста 256k и настраиваемым параметром reasoning_effort; модель выпущена под лицензией Apache 2.0. Компания указывает, что Small 4 объединяет возможности Magistral, Pixtral и Devstral, нацелена на чаты, кодинг/агентов и сложное рассуждение, утверждает значительные улучшения задержки и пропускной способности по сравнению с Small 3 и доступна через vLLM, llama.cpp, SGLang, Transformers и другие среды.

9.0