Обучение Qwen3 на AWS Trainium с помощью torchtitan
Руководство torchtitan показывает три способа обучения Qwen3 на одном AWS Trainium trn2.48xlarge: (1) через backend Transformers v5 (AutoModelForCausalLM) с чтением/записью Hugging Face safetensors; (2) с использованием нативной реализации Qwen3Model в torchtitan через config.model_spec; (3) с добавлением MoE-ядр NKI (Neuron Kernel Interface) из torchtitan-neuron и подключением пользовательских ядер через реестр override. Пост описывает настройку окружения (контейнер Neuron PyTorch или AWS DL AMI), установку torchtitan-neuron, запуск через torchrun, загрузку/сохранение контрольных точек (safetensors) и приводит пример первого шага loss для Qwen3-4B-Instruct-2507 (6.54 из опубликованных весов против 12.43 при случайной инициализации).