НОВОСТЬ · COMPANIES · #4019
AWS добавляет навык распределённого KV-кеширования в Agent Toolkit для ускорения self-hosted LLM
AWS выпустила навык распределённого KV-кеширования для Agent Toolkit, который использует Amazon ElastiCache для совместного использования KV-состояний между GPU-серверами, включает инструменты (KVTrace) и пошаговые сценарии для оценки, развёртывания и отладки кеширования; по результатам бенчмарков AWS указывает до 40% экономии затрат и до 80% ускорения времени до первого токена. Навык требует LMCache 0.5.8rc1 или новее и vLLM 0.11.1 или новее и совместим с агентами вроде Kiro, Claude Code и OpenAI Codex.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- AWS выпустила навык распределённого KV-кеширования для Agent Toolkit, который использует Amazon ElastiCache для совместного использования KV-состояний между GPU-серверами, включает инструменты (KVTrace) и пошаговые сценарии для оценки, развёртывания и отладки кеширования; по результатам бенчмарков AWS указывает до 40% экономии затрат и до 80% ускорения времени до первого токена.
- Навык требует LMCache 0.5.8rc1 или новее и vLLM 0.11.1 или новее и совместим с агентами вроде Kiro, Claude Code и OpenAI Codex.
- Снижение повторных вычислений KV-предзаполнения между GPU-серверами может существенно уменьшить задержки и расходы при self-hosted LLM, что делает использование больших контекстов в продакшне более практичным.
ПОЧЕМУ ЭТО ВАЖНО
Снижение повторных вычислений KV-предзаполнения между GPU-серверами может существенно уменьшить задержки и расходы при self-hosted LLM, что делает использование больших контекстов в продакшне более практичным.