Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #20322

Neuron Explorer

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

CODING · 1 ИСТОЧН. · Hugging Face

Профилирование TorchNeuron на AWS Trainium — пошаговый системный разбор (Часть 1)

Этот учебный материал показывает, как профилировать PyTorch-нагрузки на AWS Trainium с помощью TorchNeuron (torch-neuronx). В нём объясняется настройка torch.profiler с NeuronConfig и NeuronProfiler, экспорт согласованных системных/устройственных трасс (NEFF/NTFF), просмотр выполнения в Neuron Explorer и сравнение трёх реализаций RMSNorm (на основе отдельных PyTorch-операций, объединённая torch.rms_norm и torch.compile) с воспроизводимыми примерами в каталоге examples torch-neuronx.

6.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Deepgram портировал Nova-3 ASR на AWS Trainium2 и достиг экономии 11–70% при пакетной обработке

Deepgram совместно с AWS портировал модель Nova-3 распознавания речи на AWS Trainium2 с использованием TorchNeuron, NKILib и собственных NKI-ядр; итоговая конфигурация размещает восемь реплик модели на одном экземпляре Amazon EC2 trn2.3xlarge. Для оффлайн пакетных задач (например, аналитика контакт-центров, медицинская транскрипция) эта настройка обрабатывала на 11–70% больше аудио за доллар по сравнению с ранее используемыми вычислительными опциями (по ценам инстансов на момент оценки).

7.0