Amazon Bedrock опубликовал паттерны кэширования подсказок для запуска моделей OpenAI в агентах
В посте Amazon Bedrock описаны явное и неявное кэширование подсказок для агентных нагрузок с моделями OpenAI: как сохранять prefill (KV) состояние для переиспользуемых префиксов (напр., инструменты и инструкции) через prompt_cache_breakpoint и prompt_cache_key, что сокращает расход токенов и задержку; кэширование требует точного совпадения текста и префикса от 1 024 токенов. Также рекомендовано сочетать неявное кэширование (границы, выбранные Bedrock) с явными маркерами для совместного использования стартового состояния между сессиями и субагентами.