ПАРТНЁРСТВО · CODING · #2935
Google и Meta открыли исходники TorchTPU — нативный PyTorch-бэкенд для Google TPU
Google совместно с Meta опубликовали TorchTPU — нативный PyTorch-бэкенд для Google TPU, ориентированный на eager-режим, с поддержкой компиляции, распределённого обучения и оптимизаций аппаратуры; миграция обычно сводится к замене cuda->tpu и nccl->tpu_dist или использованию torch.accelerator. Google протестировал TorchTPU на ~5 000 моделях Hugging Face и сообщил о пропускной способности для 30B Muse Glimmer на одном TPUv7: 25,7k токен/с (seq_len 5120) и 22,4k токен/с (seq_len 10240), а также привёл данные по обучению и масштабируемости MoE до 8 192 TPUv7.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Google совместно с Meta опубликовали TorchTPU — нативный PyTorch-бэкенд для Google TPU, ориентированный на eager-режим, с поддержкой компиляции, распределённого обучения и оптимизаций аппаратуры; миграция обычно сводится к замене cuda->tpu и nccl->tpu_dist или использованию torch.accelerator.
- Google протестировал TorchTPU на ~5 000 моделях Hugging Face и сообщил о пропускной способности для 30B Muse Glimmer на одном TPUv7: 25,7k токен/с (seq_len 5120) и 22,4k токен/с (seq_len 10240), а также привёл данные по обучению и масштабируемости MoE до 8 192 TPUv7.
- TorchTPU снижает барьер запуска стандартных PyTorch-рабочих нагрузок на TPU с минимальными изменениями кода и может изменить выбор платформ и соотношение цена/производительность в пользу Google TPU.
ПОЧЕМУ ЭТО ВАЖНО
TorchTPU снижает барьер запуска стандартных PyTorch-рабочих нагрузок на TPU с минимальными изменениями кода и может изменить выбор платформ и соотношение цена/производительность в пользу Google TPU.