Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #24074

OpenAI models

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon Bedrock опубликовал паттерны кэширования подсказок для запуска моделей OpenAI в агентах

В посте Amazon Bedrock описаны явное и неявное кэширование подсказок для агентных нагрузок с моделями OpenAI: как сохранять prefill (KV) состояние для переиспользуемых префиксов (напр., инструменты и инструкции) через prompt_cache_breakpoint и prompt_cache_key, что сокращает расход токенов и задержку; кэширование требует точного совпадения текста и префикса от 1 024 токенов. Также рекомендовано сочетать неявное кэширование (границы, выбранные Bedrock) с явными маркерами для совместного использования стартового состояния между сессиями и субагентами.

5.0