НОВОСТЬ · COMPANIES · #3670
Amazon Bedrock добавляет явное кэширование подсказок для open-weight моделей
Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному). Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному).
- Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.
- Это сокращает вычисления, задержки и затраты на ввод для приложений, которые повторно отправляют одинаковый контекст, и даёт разработчикам явный контроль, чтобы избежать ненужных записей в кэш (что влияет на тарификацию).
ПОЧЕМУ ЭТО ВАЖНО
Это сокращает вычисления, задержки и затраты на ввод для приложений, которые повторно отправляют одинаковый контекст, и даёт разработчикам явный контроль, чтобы избежать ненужных записей в кэш (что влияет на тарификацию).