ИНВЕСТИЦИИ · MODELS · #2210
Deepgram портировал Nova-3 ASR на AWS Trainium2 и достиг экономии 11–70% при пакетной обработке
Deepgram совместно с AWS портировал модель Nova-3 распознавания речи на AWS Trainium2 с использованием TorchNeuron, NKILib и собственных NKI-ядр; итоговая конфигурация размещает восемь реплик модели на одном экземпляре Amazon EC2 trn2.3xlarge. Для оффлайн пакетных задач (например, аналитика контакт-центров, медицинская транскрипция) эта настройка обрабатывала на 11–70% больше аудио за доллар по сравнению с ранее используемыми вычислительными опциями (по ценам инстансов на момент оценки).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Deepgram совместно с AWS портировал модель Nova-3 распознавания речи на AWS Trainium2 с использованием TorchNeuron, NKILib и собственных NKI-ядр; итоговая конфигурация размещает восемь реплик модели на одном экземпляре Amazon EC2 trn2.3xlarge.
- Для оффлайн пакетных задач (например, аналитика контакт-центров, медицинская транскрипция) эта настройка обрабатывала на 11–70% больше аудио за доллар по сравнению с ранее используемыми вычислительными опциями (по ценам инстансов на момент оценки).
- Снижение стоимости инференса на единицу аудио позволяет Deepgram масштабировать голосовой AI и предлагать более низкие цены или облегчённый self-hosting для клиентов с большими объёмами пакетной обработки.
ПОЧЕМУ ЭТО ВАЖНО
Снижение стоимости инференса на единицу аудио позволяет Deepgram масштабировать голосовой AI и предлагать более низкие цены или облегчённый self-hosting для клиентов с большими объёмами пакетной обработки.