Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #5710

Qwen3-32B

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

6

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции

vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.

6.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

RESEARCH · 1 ИСТОЧН. · The Decoder

Ник Каммарата (Goodfire) утверждает, что нейросети в основном интерпретируемы в новом эссе

В эссе «Neural Networks Are Already Clean» исследователь Goodfire Ник Каммарата переосмысливает примеры полиcемантических нейронов и утверждает, что большинство активаций нейронов можно понять с помощью масштабного автоматизированного анализа: в Qwen3-32B около 90% «полюсов» нейронов имеют одну основную функцию, 2–4% остаются необъяснёнными. Работа вызвала восторг у некоторых (включая постера OpenAI Roon) и призывы к осторожности от других (включая Neel Nanda); Goodfire сообщает о похожих наблюдениях в более крупных моделях, но требуется независимая проверка.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Behavioral Self-Rewarding (BSR) уточняет верифицируемые награды для агентов разработки ПО

Препринт arXiv:2610.12598v1 представляет Behavioral Self-Rewarding (BSR) — метод уточнения наград, который повторно использует политику для сравнения поведения при отладке между траекториями с одинаковым результатом верификатора, агрегирует попарные предпочтения в ограниченные вспомогательные награды при сохранении порядка «сдал/не сдал». Эксперименты на SWE-bench Verified и SWE-bench-Live с конфигурациями Qwen3-14B и Qwen3-32B показывают стабильное улучшение и дают дополнительную супервизию из уже собранных траекторий без новых взаимодействий со средой.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Decode-Latency Feedback Prefill (DLFP): безмодельный контроллер для размеров prefill

В статье (arXiv:2609.38386v1) предложен Decode-Latency Feedback Prefill (DLFP) — безмодельный контроллер, реализованный в vLLM, который адаптивно изменяет размеры prefill для работы, перекрывающейся с активной генерацией. На Qwen3-0.6B (BF16) на одной NVIDIA A100 80 GB авторы за три пары из 100 запросов сообщили среднее сокращение P99 межтокенной задержки на 27.7% (парный 95% ДИ 21.0%–34.3%) при точном совпадении вывода и без нарушения SLO, но при увеличении P99 времени до первого токена на 34.8%; метод не обобщился на Qwen3-8B, Qwen3-32B или двух GPU в тензорном параллелизме, что авторы связывают с использованием асинхронного интервала планировщика как прокси для времени завершения итерации на GPU.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

RBS-Attention: адаптивный по радиусу двухветвевой разреженный prefill для LLM с длинным контекстом

Препринт arXiv:2609.20971v1 представляет RBS-Attention — обучение-не требующий метод разреженного prefill с двумя ветвями: базовой на центроиде и «спасающей» на основе радиуса, чтобы избежать «усредняющего разведения» при выборе блоков для attention с длинным контекстом. На H100 заявлены ускорения: до 20.65× для standalone prefill-attention, 11.92× для vLLM prefill-attention и 5.97× ускорение времени до первого токена при 128K на Qwen3-30B-A3B-Instruct-2507-FP8 с сохранением близкой плотной точности (88.65 vs 89.52 по RULER на Qwen3-32B); также использованы наборы LongBench-v2, InfiniteBench и Video-MME.

7.0