Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #34969

openai Python SDK (3.26.0+)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon Bedrock добавляет явное кэширование подсказок для open-weight моделей

Amazon Web Services объявила, что open-weight модели на Amazon Bedrock теперь поддерживают явное кэширование подсказок (в дополнение к неявному). Кэширование подсказок позволяет Bedrock повторно использовать вычислённое состояние для совпадающих префиксов подсказок, снижая обработку входных данных, уменьшая тарифы на чтение из кэша и сокращая задержки ответа; разработчикам нужно использовать Chat Completions API и сверяться с карточкой модели по режимам кэширования, минимальной длине префикса, точкам сохранения и TTL.

6.0