prompt caching

2026-10-26

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon Bedrock опубликовал паттерны кэширования подсказок для запуска моделей OpenAI в агентах

В посте Amazon Bedrock описаны явное и неявное кэширование подсказок для агентных нагрузок с моделями OpenAI: как сохранять prefill (KV) состояние для переиспользуемых префиксов (напр., инструменты и инструкции) через prompt_cache_breakpoint и prompt_cache_key, что сокращает расход токенов и задержку; кэширование требует точного совпадения текста и префикса от 1 024 токенов. Также рекомендовано сочетать неявное кэширование (границы, выбранные Bedrock) с явными маркерами для совместного использования стартового состояния между сессиями и субагентами.

5.0

2026-09-22

MODELS · 1 ИСТОЧН. · OpenAI

GPT‑6 улучшает кэширование подсказок

GPT‑6 получает улучшенное кэширование подсказок: более высокий процент попаданий в кэш, новые диагностические инструменты, явные контрольные точки и настройки, направленные на снижение задержек и затрат. Эти функции ориентированы на рабочие нагрузки с интенсивным использованием подсказок, которые выиграют от более эффективного повторного использования контекста.

6.0

2026-09-22

MODELS · 4 ИСТОЧН. · AWS Machine Learning · TechCrunch AI · OpenAI · The Decoder

GPT-6 Sol и GPT-6 Luna от OpenAI стали общедоступны на Amazon Bedrock

Модели GPT-6 Sol и GPT-6 Luna от OpenAI стали общедоступны на Amazon Bedrock, работают на высокопроизводительном inference-движке Bedrock и предлагаются по более низкой цене API по сравнению с предшествующим GPT-5.6. GPT-6 Sol рассчитана на требовательные повторяющиеся задачи разработки и эксплуатации с улучшенной работой с кодом, рассуждением и фактической точностью (по данным OpenAI — примерно вдвое меньше ошибок по сравнению с GPT-5.6 Sol), а GPT-6 Luna оптимизирована для высокообъемных повторяемых рабочих нагрузок; Bedrock поддерживает явное кэширование подсказок, управление доступом через IAM и аудит вызовов.

8.0

2026-09-15

CODING · 1 ИСТОЧН. · AWS Machine Learning

Оптимизация стоимости и задержки с кэшированием подсказок в Amazon Bedrock

Публикация AWS Machine Learning описывает кэширование подсказок в Amazon Bedrock, отмечая, что оно может сократить затраты на входные токены до 90% при повторной отправке одного и того же контекста в фундаментальные модели. В статье разобраны шесть практических сценариев кэширования подсказок для Converse API: содержимое сообщений, системные подсказки, определение инструментов, смешанное время жизни (TTL), изоляция арендаторов и интеграция с LangChain.

4.0