Google и Meta открыли исходники TorchTPU — нативный PyTorch-бэкенд для Google TPU
Google совместно с Meta опубликовали TorchTPU — нативный PyTorch-бэкенд для Google TPU, ориентированный на eager-режим, с поддержкой компиляции, распределённого обучения и оптимизаций аппаратуры; миграция обычно сводится к замене cuda->tpu и nccl->tpu_dist или использованию torch.accelerator. Google протестировал TorchTPU на ~5 000 моделях Hugging Face и сообщил о пропускной способности для 30B Muse Glimmer на одном TPUv7: 25,7k токен/с (seq_len 5120) и 22,4k токен/с (seq_len 10240), а также привёл данные по обучению и масштабируемости MoE до 8 192 TPUv7.