ГАЙД · CODING · #2367
Профилирование TorchNeuron на AWS Trainium — пошаговый системный разбор (Часть 1)
Этот учебный материал показывает, как профилировать PyTorch-нагрузки на AWS Trainium с помощью TorchNeuron (torch-neuronx). В нём объясняется настройка torch.profiler с NeuronConfig и NeuronProfiler, экспорт согласованных системных/устройственных трасс (NEFF/NTFF), просмотр выполнения в Neuron Explorer и сравнение трёх реализаций RMSNorm (на основе отдельных PyTorch-операций, объединённая torch.rms_norm и torch.compile) с воспроизводимыми примерами в каталоге examples torch-neuronx.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот учебный материал показывает, как профилировать PyTorch-нагрузки на AWS Trainium с помощью TorchNeuron (torch-neuronx).
- В нём объясняется настройка torch.profiler с NeuronConfig и NeuronProfiler, экспорт согласованных системных/устройственных трасс (NEFF/NTFF), просмотр выполнения в Neuron Explorer и сравнение трёх реализаций RMSNorm (на основе отдельных PyTorch-операций, объединённая torch.rms_norm и torch.compile) с воспроизводимыми примерами в каталоге examples torch-neuronx.
- Предоставляет практические инструменты и воспроизводимый процесс для диагностики и оптимизации производительности моделей на Trainium, помогая инженерам находить узкие места между устройством и CPU.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет практические инструменты и воспроизводимый процесс для диагностики и оптимизации производительности моделей на Trainium, помогая инженерам находить узкие места между устройством и CPU.