PyTorch

2026-11-03

MODELS · 1 ИСТОЧН. · Hugging Face

Предложенные MIC‑фикстуры Transformers могли бы обнаружить баг UMT5 с вниманием в будущее, внесённый при включении SDPA в PyTorch

30 июля 2026 года в Transformers для T5 включили вариант масштабированного скалярного внимания PyTorch (SDPA), что позволило декодеру UMT5 смотреть на будущие токены во время обучения. Проект предлагает Model Integration Contracts (transformers-mic): маленькие зафиксированные фикстуры, выполняемые примеры использования и сохранённые эталоны, запускаемые на дешёвых CPU — при воспроизведении MIC на истории коммитов фикстура UMT5 отметила регрессию с момента её появления до исправления 28 сентября 2026 года.

7.0

2026-11-02

CODING · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Google и Meta открыли исходники TorchTPU — нативный PyTorch-бэкенд для Google TPU

Google совместно с Meta опубликовали TorchTPU — нативный PyTorch-бэкенд для Google TPU, ориентированный на eager-режим, с поддержкой компиляции, распределённого обучения и оптимизаций аппаратуры; миграция обычно сводится к замене cuda->tpu и nccl->tpu_dist или использованию torch.accelerator. Google протестировал TorchTPU на ~5 000 моделях Hugging Face и сообщил о пропускной способности для 30B Muse Glimmer на одном TPUv7: 25,7k токен/с (seq_len 5120) и 22,4k токен/с (seq_len 10240), а также привёл данные по обучению и масштабируемости MoE до 8 192 TPUv7.

8.0

2026-10-29

RESEARCH · 1 ИСТОЧН. · NVIDIA Developer

TF32x3 и BF16x9 ускоряют инференс Point Edge Transformer (MLIP) при сохранении точности, близкой к FP32

Оценка на Point Edge Transformer (Lab COSMO, EPFL) показывает: BF16x9 на Blackwell ускоряет большие GEMM на 2,2–2,5× (система 17 280 атомов) и на 1,2–1,4× (192 атома), а TF32x3 на Ampere ускоряет основные GEMM на 1,7–1,9× и полный шаг МД до 1,5×; TF32x3 сохраняет гладкость потенциальной энергии и сохранение энергии в NVE-траекториях и сходится при релаксации структуры (539-атомная пластина сплава Кантера) за 218–222 шага с ~1,5× ускорением на шаг, тогда как одно-проходный TF32 не достигает порога по силе после 1000 шагов. В публикации указано, как включить BF16x9 через cuBLAS и даны ссылки на NVIDIA ALCHEMI Toolkit и репозиторий UPET для интеграции и контрольных точек.

7.0

2026-10-25

COMPANIES · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Google открыла исходники ML Drift — GPU-движок для локального AI-инференса

Google представила ML Drift — кросс-платформенный GPU-движок с открытым исходным кодом (Apache 2.0) для локального AI-инференса, абстрагирующий OpenGL ES, OpenCL, Metal и WebGPU. ML Drift — ядро LiteRT с едиными шейдерами через виртуализацию тензоров, поддержкой 5D-тензоров и аппаратными оптимизациями для Arm, Intel и Qualcomm; компания заявляет о замене устаревшего делегата TensorFlow Lite и приводит бенчмарки и ускорения в Chrome, YouTube Shorts, Photos, Adobe и Snapchat.

8.0

2026-10-21

CODING · 1 ИСТОЧН. · Hugging Face

Профилирование TorchNeuron на AWS Trainium — пошаговый системный разбор (Часть 1)

Этот учебный материал показывает, как профилировать PyTorch-нагрузки на AWS Trainium с помощью TorchNeuron (torch-neuronx). В нём объясняется настройка torch.profiler с NeuronConfig и NeuronProfiler, экспорт согласованных системных/устройственных трасс (NEFF/NTFF), просмотр выполнения в Neuron Explorer и сравнение трёх реализаций RMSNorm (на основе отдельных PyTorch-операций, объединённая torch.rms_norm и torch.compile) с воспроизводимыми примерами в каталоге examples torch-neuronx.

6.0

2026-10-20

MODELS · 1 ИСТОЧН. · AWS Machine Learning

i14 обучила и обслуживает модель Laplace 3B с линейным вниманием на AWS Trainium2 с TorchNeuron Native

i14 перенесла свой декодер Laplace 3B (3 млрд параметров, GLA с фиксированным рекуррентным состоянием 29,5 МБ) на AWS Trainium2 через TorchNeuron Native и нативные операторы PyTorch. На инстансе trn2.48xlarge команда зафиксировала примерно 120 000 токенов/с для обучения и 11 544 выходных токена/с при 1 280 конкурентных последовательностях после замены Triton‑ядра, оптимизации коллективов MuonFSDP2 и статической развертки рекуррентного прохода GLA для компилятора Trainium2.

7.0

2026-10-20

COMPANIES · 1 ИСТОЧН. · TechCrunch AI

Google выпустила открытый TorchTPU для запуска PyTorch на TPU, бросая вызов Nvidia

Google объявила о TorchTPU — открытой реализации PyTorch, которая позволяет разработчикам запускать существующие PyTorch‑приложения на TPU Google с минимальными изменениями; это следует за недавним выпуском Amazon TorchNeuron для Trainium и дополняет усилия по отвязке PyTorch от аппаратной привязки к Nvidia. Google также представила TPU agent suite и обновила LiteRT для помощи при портировании и запуске на устройствах.

8.0

2026-10-20

CODING · 1 ИСТОЧН. · Hugging Face

PyTorch 2.15 добавляет FP8, ускоренную декодировку LLM и новые Metal‑ядра MPS для Mac

В PyTorch 2.15 (с вкладом Hugging Face) улучшен бэкенд MPS для Apple Silicon: добавлена поддержка torch.float8_e4m3fn (FP8) с F.scaled_mm, ускорены одиночные линейные операции и grouped matmul — декодировка MoE стала в 5–6.5× быстрее (например, Qwen3.6‑35B‑A3B с 9.4→61.3 ток/с на M3 Ultra), ускорен softmax примерно в 8×, а новые Metal‑ядра значительно снизили память драйвера при декодировании видео (Wan2.2) с ~270 ГиБ до ~8 ГиБ. Требования обновлены до macOS 15+ и Python 3.11+; в 2.16 планируются новые миграции MPSGraph→Metal.

7.0

2026-10-20

CODING · 1 ИСТОЧН. · Hugging Face

Hugging Face выпускает TorchNeuron — нативный бэкенд PyTorch для AWS Trainium (публичная бета 20 окт. 2026)

TorchNeuron — новый плагин PyTorch от Hugging Face, который делает Neuron нативным устройством PyTorch для AWS Trainium, включая поддержку eager execution, torch.compile и распределённых API (DTensor, FSDP, TP). Он позволяет запускать Transformers, Diffusers и другие библиотеки Hugging Face на Trainium без специальных форков Optimum Neuron, увеличивает совместимость моделей для генерации текста (89% против 46% у Optimum Neuron v0.4.5) и станет публичной бетой с 20 октября 2026 (pip install torch-neuronx).

8.0

2026-10-19

COMPANIES · 1 ИСТОЧН. · TechCrunch AI

AWS запускает TorchNeuron для запуска моделей PyTorch на Trainium

Amazon Web Services выпустила TorchNeuron — совместимый с PyTorch инструмент, который, по данным AWS, позволяет запускать приложения PyTorch на её AI‑чипах Trainium с минимальной конфигурацией (одна строка). AWS также намерена внести изменения в основной проект PyTorch, чтобы ослабить привязку фреймворка к конкретным чипам, и утверждает, что это даст стартапам простой доступ к облаку AWS и лучшую экономику для обучения и вывода моделей.

8.0

2026-09-24

CODING · 1 ИСТОЧН. · NVIDIA Developer

Эффективная тренировка MoE для биологических foundation-моделей с NVIDIA Transformer Engine и MXFP8

NVIDIA опубликовала рецепт обучения MoE BioNeMo, который использует примитивы Transformer Engine — GroupedLinear, MXFP8 (блочно масштабируемый 8‑битный формат) и объединённый GroupedMLP‑ядро (ForwardGroupedMLP_CuTeGEMMSwiGLU_MXFP8) — для сокращения накладных расходов на запуск кернелов, уменьшения объёма активаций и ускорения обучения MoE. В бенчмарке на восьми GPU (NVIDIA B200) рецепт показал до 2.21× пропускной способности по сравнению с базовой реализацией Hugging Face; объединённое MXFP8‑ядро требует аппаратуры Blackwell.

6.0

2026-09-23

CODING · 1 ИСТОЧН. · Hugging Face

NVIDIA показывает, как с помощью Warp и MJWarp запускать MuJoCo в масштабе GPU (до 2048 окружений)

NVIDIA описывает перенос рабочего процесса MuJoCo (манипулятор SO-101) в MJWarp — реализацию физического конвейера MuJoCo на базе NVIDIA Warp — и демонстрирует одновременное выполнение до 2048 параллельных окружений на GPU. В статье объясняются модель ядра Warp для GPU, массивы на устройстве, компонуемые запуски и захват графа, а также упоминаются дифференцируемые ядра и опциональный детерминированный режим (Warp ≥ 1.15); материал посвящён подготовке и масштабированию симуляций, а не обучению политик.

6.0

2026-09-22

MODELS · 1 ИСТОЧН. · Hugging Face

Transformers добавляет поддержку GGUF (кванты llama.cpp) в main

Библиотека transformers от Hugging Face (ветка main) теперь может загружать и запускать квантизованные контрольные точки в формате GGUF с использованием ядер llama.cpp/ggml, с упором на эффективный локальный вывод (первоначально оптимизировано для Apple Silicon и моделей Qwen3.5). Интеграция также позволяет обслуживать GGUF-чекпоинты через transformers-serve и при отсутствии совместимых ядер откатывается к де-квантизации.

7.0

2026-09-16

CODING · 1 ИСТОЧН. · AWS Machine Learning

NVIDIA NVRx добавляет отказоустойчивость в обучение PyTorch FSDP на Amazon EKS

NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.

6.0

2024-03-06

RESEARCH · 1 ИСТОЧН. · Google Research

Croissant 1.0: формат метаданных для ML-готовых датасетов на базе schema.org с поддержкой крупных хостов и фреймворков

Croissant — новый формат метаданных для ML-готовых датасетов (версия 1.0) на базе schema.org, который унифицирует описание и организацию данных, не меняя их форматов. Релиз включает спецификацию, примеры датасетов, открытый Python-инструментарий и визуальный редактор, расширение для ответственного ИИ, и получает поддержку со стороны Kaggle, Hugging Face, OpenML, Dataset Search и загрузки через TFDS в основных фреймворках.

7.0