Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #477

router

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

OrchSLM: исследование динамики оркестровки малых языковых моделей

Этот препринт на arXiv представляет OrchSLM — фреймворк маршрутизации, который объединяет существующие неинтерактивные методы оркестровки для малых языковых моделей (SLM) и выделяет ключевые параметры проектирования. Авторы с помощью OrchSLM исследуют, как поведение оркестровки вытекает из структуры задачи, состава пула моделей и многоагентного консенсуса, что мотивировано ограничениями SLM по сравнению с облачными LLM.

6.0