Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ГАЙД · CODING · #2383

Обучение Qwen3 на AWS Trainium с помощью torchtitan

Руководство torchtitan показывает три способа обучения Qwen3 на одном AWS Trainium trn2.48xlarge: (1) через backend Transformers v5 (AutoModelForCausalLM) с чтением/записью Hugging Face safetensors; (2) с использованием нативной реализации Qwen3Model в torchtitan через config.model_spec; (3) с добавлением MoE-ядр NKI (Neuron Kernel Interface) из torchtitan-neuron и подключением пользовательских ядер через реестр override. Пост описывает настройку окружения (контейнер Neuron PyTorch или AWS DL AMI), установку torchtitan-neuron, запуск через torchrun, загрузку/сохранение контрольных точек (safetensors) и приводит пример первого шага loss для Qwen3-4B-Instruct-2507 (6.54 из опубликованных весов против 12.43 при случайной инициализации).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Руководство torchtitan показывает три способа обучения Qwen3 на одном AWS Trainium trn2.48xlarge: (1) через backend Transformers v5 (AutoModelForCausalLM) с чтением/записью Hugging Face safetensors; (2) с использованием нативной реализации Qwen3Model в torchtitan через config.model_spec; (3) с добавлением MoE-ядр NKI (Neuron Kernel Interface) из torchtitan-neuron и подключением пользовательских ядер через реестр override.
  2. Пост описывает настройку окружения (контейнер Neuron PyTorch или AWS DL AMI), установку torchtitan-neuron, запуск через torchrun, загрузку/сохранение контрольных точек (safetensors) и приводит пример первого шага loss для Qwen3-4B-Instruct-2507 (6.54 из опубликованных весов против 12.43 при случайной инициализации).
  3. Это демонстрирует практический и воспроизводимый способ запуска и дообучения Qwen3 на AWS Trainium (включая нативную поддержку модели, интеграцию с Transformers v5 и пользовательские Neuron-ядра), что важно для разработчиков, оптимизирующих обучение крупных моделей на Trainium.

ПОЧЕМУ ЭТО ВАЖНО

Это демонстрирует практический и воспроизводимый способ запуска и дообучения Qwen3 на AWS Trainium (включая нативную поддержку модели, интеграцию с Transformers v5 и пользовательские Neuron-ядра), что важно для разработчиков, оптимизирующих обучение крупных моделей на Trainium.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Train Qwen3 on AWS Trainium with torchtitan

Using torchtitan on AWS Trainium means using it the way you always have. TorchNeuron registers Trainium as a native PyTorch device, which lets torchtitan use it through standard PyTorch interfaces. You can use these configurations to pre-train from random initialization or fine-tune published weights. You can also customize the model implementation and kernels for your workload. In this post, you train Qwen3 three wa…

↗