Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #38495

distributed KV caching skill

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

AWS добавляет навык распределённого KV-кеширования в Agent Toolkit для ускорения self-hosted LLM

AWS выпустила навык распределённого KV-кеширования для Agent Toolkit, который использует Amazon ElastiCache для совместного использования KV-состояний между GPU-серверами, включает инструменты (KVTrace) и пошаговые сценарии для оценки, развёртывания и отладки кеширования; по результатам бенчмарков AWS указывает до 40% экономии затрат и до 80% ускорения времени до первого токена. Навык требует LMCache 0.5.8rc1 или новее и vLLM 0.11.1 или новее и совместим с агентами вроде Kiro, Claude Code и OpenAI Codex.

7.0