Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #20316

AWS Trainium2

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

MODELS · 1 ИСТОЧН. · AWS Machine Learning

i14 обучила и обслуживает модель Laplace 3B с линейным вниманием на AWS Trainium2 с TorchNeuron Native

i14 перенесла свой декодер Laplace 3B (3 млрд параметров, GLA с фиксированным рекуррентным состоянием 29,5 МБ) на AWS Trainium2 через TorchNeuron Native и нативные операторы PyTorch. На инстансе trn2.48xlarge команда зафиксировала примерно 120 000 токенов/с для обучения и 11 544 выходных токена/с при 1 280 конкурентных последовательностях после замены Triton‑ядра, оптимизации коллективов MuonFSDP2 и статической развертки рекуррентного прохода GLA для компилятора Trainium2.

7.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Deepgram портировал Nova-3 ASR на AWS Trainium2 и достиг экономии 11–70% при пакетной обработке

Deepgram совместно с AWS портировал модель Nova-3 распознавания речи на AWS Trainium2 с использованием TorchNeuron, NKILib и собственных NKI-ядр; итоговая конфигурация размещает восемь реплик модели на одном экземпляре Amazon EC2 trn2.3xlarge. Для оффлайн пакетных задач (например, аналитика контакт-центров, медицинская транскрипция) эта настройка обрабатывала на 11–70% больше аудио за доллар по сравнению с ранее используемыми вычислительными опциями (по ценам инстансов на момент оценки).

7.0