Amazon Bedrock добавляет явное кэширование подсказок для open-weight моделей
Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному). Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.