ГАЙД · CODING · #2596
Amazon Bedrock опубликовал паттерны кэширования подсказок для запуска моделей OpenAI в агентах
В посте Amazon Bedrock описаны явное и неявное кэширование подсказок для агентных нагрузок с моделями OpenAI: как сохранять prefill (KV) состояние для переиспользуемых префиксов (напр., инструменты и инструкции) через prompt_cache_breakpoint и prompt_cache_key, что сокращает расход токенов и задержку; кэширование требует точного совпадения текста и префикса от 1 024 токенов. Также рекомендовано сочетать неявное кэширование (границы, выбранные Bedrock) с явными маркерами для совместного использования стартового состояния между сессиями и субагентами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В посте Amazon Bedrock описаны явное и неявное кэширование подсказок для агентных нагрузок с моделями OpenAI: как сохранять prefill (KV) состояние для переиспользуемых префиксов (напр., инструменты и инструкции) через prompt_cache_breakpoint и prompt_cache_key, что сокращает расход токенов и задержку; кэширование требует точного совпадения текста и префикса от 1 024 токенов.
- Также рекомендовано сочетать неявное кэширование (границы, выбранные Bedrock) с явными маркерами для совместного использования стартового состояния между сессиями и субагентами.
- Кэширование подсказок снижает повторную обработку prefill — уменьшает затраты и улучшает отзывчивость при масштабировании агентных приложений на Bedrock.
ПОЧЕМУ ЭТО ВАЖНО
Кэширование подсказок снижает повторную обработку prefill — уменьшает затраты и улучшает отзывчивость при масштабировании агентных приложений на Bedrock.