Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3670

Amazon Bedrock добавляет явное кэширование подсказок для open-weight моделей

Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному). Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному).
  2. Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.
  3. Это сокращает вычисления, задержки и затраты на ввод для приложений, которые повторно отправляют одинаковый контекст, и даёт разработчикам явный контроль, чтобы избежать ненужных записей в кэш (что влияет на тарификацию).

ПОЧЕМУ ЭТО ВАЖНО

Это сокращает вычисления, задержки и затраты на ввод для приложений, которые повторно отправляют одинаковый контекст, и даёт разработчикам явный контроль, чтобы избежать ненужных записей в кэш (что влияет на тарификацию).

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1