Измеряемое автоскейлирование TTS на Amazon SageMaker с Kokoro-82M
В руководстве показано развёртывание Kokoro-82M (82M параметров, неавторегрессивная TTS) в кастомном контейнере на реальном endpoint Amazon SageMaker AI через AWS CDK и замена угаданной цели автоскейлинга на вычисленную по двум живым измерениям: Q_max (максимальная конкурентность на инстанс при соблюдении SLO) и T_total (время масштабирования end-to-end). Развёртывание использует нативную метрику SageMaker ConcurrentRequestsPerModel (в CloudWatch) и поддерживает InvokeEndpointWithResponseStream и InvokeEndpointWithBidirectionalStream; инструмент конвертирует клиентские измерения в единицы CloudWatch, в примере отношение измеренных и публикуемых значений оказалось 1.0.