НОВОСТЬ · CODING · #2431
Измеряемое автоскейлирование TTS на Amazon SageMaker с Kokoro-82M
В руководстве показано развёртывание Kokoro-82M (82M параметров, неавторегрессивная TTS) в кастомном контейнере на реальном endpoint Amazon SageMaker AI через AWS CDK и замена угаданной цели автоскейлинга на вычисленную по двум живым измерениям: Q_max (максимальная конкурентность на инстанс при соблюдении SLO) и T_total (время масштабирования end-to-end). Развёртывание использует нативную метрику SageMaker ConcurrentRequestsPerModel (в CloudWatch) и поддерживает InvokeEndpointWithResponseStream и InvokeEndpointWithBidirectionalStream; инструмент конвертирует клиентские измерения в единицы CloudWatch, в примере отношение измеренных и публикуемых значений оказалось 1.0.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В руководстве показано развёртывание Kokoro-82M (82M параметров, неавторегрессивная TTS) в кастомном контейнере на реальном endpoint Amazon SageMaker AI через AWS CDK и замена угаданной цели автоскейлинга на вычисленную по двум живым измерениям: Q_max (максимальная конкурентность на инстанс при соблюдении SLO) и T_total (время масштабирования end-to-end).
- Развёртывание использует нативную метрику SageMaker ConcurrentRequestsPerModel (в CloudWatch) и поддерживает InvokeEndpointWithResponseStream и InvokeEndpointWithBidirectionalStream; инструмент конвертирует клиентские измерения в единицы CloudWatch, в примере отношение измеренных и публикуемых значений оказалось 1.0.
- Использование измеренных Q_max и T_total заменяет ненадёжные догадки в автоскейлинге, уменьшая скрытые расходы и риск нарушения SLO для TTS на SageMaker.
ПОЧЕМУ ЭТО ВАЖНО
Использование измеренных Q_max и T_total заменяет ненадёжные догадки в автоскейлинге, уменьшая скрытые расходы и риск нарушения SLO для TTS на SageMaker.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1A traffic spike hits your self-hosted text-to-speech (TTS) endpoint, and requests start queueing. Latency climbs past your service level objective (SLO) right when the most callers are listening. The auto scaling policy behind that endpoint was supposed to prevent this, but the target value it scales on was a guess, and guesses like that fail silently until real traffic proves them wrong. Get that number wrong, and …
A customer asks an AI voice agent a question and waits. The agent already has an answer, it’s midway through generating a long, multi-paragraph response, but the customer hears nothing for five seconds. By the time an answer arrives, the customer is frustrated, confused, and no longer paying attention. Text-to-speech integrations create exactly that gap. A one-sentence response might generate in 600 milliseconds, bu…