НОВОСТЬ · MODELS · #1805
Общий vs выделенный инференс: стоимость встраивания и реранкинга зависит от формы запросов, а не только от RPM
В тексте говорится, что форма запросов (размер запроса, объём токенов и количество кандидатов для реранка) и паттерны трафика важнее, чем просто запросы в минуту при оценке ресурсов и стоимости для задач встраивания и реранкинга. Выделенный (provisioned) инференс обычно экономичнее для устойчивой, предсказуемой нагрузки, тогда как общий (consumption-based) — для переменной или всплесковой; точка безубыточности определяется деталями нагрузки, включая задержки и реальную пропускную способность, а не только заявленной ценой.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В тексте говорится, что форма запросов (размер запроса, объём токенов и количество кандидатов для реранка) и паттерны трафика важнее, чем просто запросы в минуту при оценке ресурсов и стоимости для задач встраивания и реранкинга.
- Выделенный (provisioned) инференс обычно экономичнее для устойчивой, предсказуемой нагрузки, тогда как общий (consumption-based) — для переменной или всплесковой; точка безубыточности определяется деталями нагрузки, включая задержки и реальную пропускную способность, а не только заявленной ценой.
- Выбор общего или выделенного инференса влияет на задержки, реальную пропускную способность и стоимость — правильный выбор определяется формой запросов и паттернами трафика, а не только ценой.
ПОЧЕМУ ЭТО ВАЖНО
Выбор общего или выделенного инференса влияет на задержки, реальную пропускную способность и стоимость — правильный выбор определяется формой запросов и паттернами трафика, а не только ценой.