Общий vs выделенный инференс: стоимость встраивания и реранкинга зависит от формы запросов, а не только от RPM
В тексте говорится, что форма запросов (размер запроса, объём токенов и количество кандидатов для реранка) и паттерны трафика важнее, чем просто запросы в минуту при оценке ресурсов и стоимости для задач встраивания и реранкинга. Выделенный (provisioned) инференс обычно экономичнее для устойчивой, предсказуемой нагрузки, тогда как общий (consumption-based) — для переменной или всплесковой; точка безубыточности определяется деталями нагрузки, включая задержки и реальную пропускную способность, а не только заявленной ценой.