AWS добавляет навык распределённого KV-кеширования в Agent Toolkit для ускорения self-hosted LLM
AWS выпустила навык распределённого KV-кеширования для Agent Toolkit, который использует Amazon ElastiCache для совместного использования KV-состояний между GPU-серверами, включает инструменты (KVTrace) и пошаговые сценарии для оценки, развёртывания и отладки кеширования; по результатам бенчмарков AWS указывает до 40% экономии затрат и до 80% ускорения времени до первого токена. Навык требует LMCache 0.5.8rc1 или новее и vLLM 0.11.1 или новее и совместим с агентами вроде Kiro, Claude Code и OpenAI Codex.