AWS Trainium

2026-10-21

CODING · 1 ИСТОЧН. · AWS Machine Learning

Обучение Qwen3 на AWS Trainium с помощью torchtitan

Руководство torchtitan показывает три способа обучения Qwen3 на одном AWS Trainium trn2.48xlarge: (1) через backend Transformers v5 (AutoModelForCausalLM) с чтением/записью Hugging Face safetensors; (2) с использованием нативной реализации Qwen3Model в torchtitan через config.model_spec; (3) с добавлением MoE-ядр NKI (Neuron Kernel Interface) из torchtitan-neuron и подключением пользовательских ядер через реестр override. Пост описывает настройку окружения (контейнер Neuron PyTorch или AWS DL AMI), установку torchtitan-neuron, запуск через torchrun, загрузку/сохранение контрольных точек (safetensors) и приводит пример первого шага loss для Qwen3-4B-Instruct-2507 (6.54 из опубликованных весов против 12.43 при случайной инициализации).

5.0

2026-10-21

CODING · 1 ИСТОЧН. · Hugging Face

Профилирование TorchNeuron на AWS Trainium — пошаговый системный разбор (Часть 1)

Этот учебный материал показывает, как профилировать PyTorch-нагрузки на AWS Trainium с помощью TorchNeuron (torch-neuronx). В нём объясняется настройка torch.profiler с NeuronConfig и NeuronProfiler, экспорт согласованных системных/устройственных трасс (NEFF/NTFF), просмотр выполнения в Neuron Explorer и сравнение трёх реализаций RMSNorm (на основе отдельных PyTorch-операций, объединённая torch.rms_norm и torch.compile) с воспроизводимыми примерами в каталоге examples torch-neuronx.

6.0

2026-10-20

CODING · 1 ИСТОЧН. · Hugging Face

Hugging Face выпускает TorchNeuron — нативный бэкенд PyTorch для AWS Trainium (публичная бета 20 окт. 2026)

TorchNeuron — новый плагин PyTorch от Hugging Face, который делает Neuron нативным устройством PyTorch для AWS Trainium, включая поддержку eager execution, torch.compile и распределённых API (DTensor, FSDP, TP). Он позволяет запускать Transformers, Diffusers и другие библиотеки Hugging Face на Trainium без специальных форков Optimum Neuron, увеличивает совместимость моделей для генерации текста (89% против 46% у Optimum Neuron v0.4.5) и станет публичной бетой с 20 октября 2026 (pip install torch-neuronx).

8.0

2026-10-19

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет push-режим коннектора NIXL для ускорения передачи KV при разъединённой инференции

vLLM представил push-версию коннектора NIXL, которая выводит подготовку передачи KV за критический путь декодирования при разъединённой инференции prefill/decode. В бенчмарке на EC2 P5en с EFA push-режим сократил время до первого токена до 3× и улучшил время на токен до 30% для Qwen3-32B, при этом результаты зависят от рабочей нагрузки и конфигурации.

6.0

2026-10-19

CODING · 1 ИСТОЧН. · AWS Machine Learning

vLLM добавляет двунаправленную передачу KV-кэша для снижения TTFT в многократных агентных сессиях

vLLM реализовал двунаправленную передачу KV-кэша, при которой decode‑узлы возвращают сохранённые блоки KV обратно prefill‑узлам между ходами, что предотвращает повторные вычисления ранее сгенерированного контента и контекста. В бенчмарках на 1P1D кластере Amazon EC2 P5en с EFA это снизило время до первого токена (TTFT) до 1.6× для Qwen3-32B и до 3.3× для zai-org/GLM-5-FP8; результаты зависят от нагрузки и конфигурации.

7.0

2026-09-22

STARTUPS · 1 ИСТОЧН. · The Decoder

«Biological Computing» предлагает нейронный Neural Dynamics Adapter через AWS

Сан‑франциский стартап The Biological Computing Co. (TBC) заявляет о малом проприетарном программном модуле — Neural Dynamics Adapter — созданном на основе измерений культур кортикальных нейронов, который встраивается в открытые диффузионные видео‑модели; TBC и Amazon Web Services планируют предлагать модель с адаптером на Trainium и через SageMaker/AWS Marketplace, но на данный момент доступен только реестр раннего доступа. По пресс‑релизу и тестам на модели Oasis (Minecraft) адаптер (~156k параметров, <0.1% от размера базовой модели) якобы лучше сохраняет детали кадра и обеспечивает до 5× быстрее генерацию и ≈80% меньшую стоимость инференса по сравнению с неназванной базовой моделью, но базовая модель не раскрывается, а коммерческое предложение ещё не запущено.

6.0