НОВОСТЬ · CODING · #2242
PyTorch 2.15 добавляет FP8, ускоренную декодировку LLM и новые Metal‑ядра MPS для Mac
В PyTorch 2.15 (с вкладом Hugging Face) улучшен бэкенд MPS для Apple Silicon: добавлена поддержка torch.float8_e4m3fn (FP8) с F.scaled_mm, ускорены одиночные линейные операции и grouped matmul — декодировка MoE стала в 5–6.5× быстрее (например, Qwen3.6‑35B‑A3B с 9.4→61.3 ток/с на M3 Ultra), ускорен softmax примерно в 8×, а новые Metal‑ядра значительно снизили память драйвера при декодировании видео (Wan2.2) с ~270 ГиБ до ~8 ГиБ. Требования обновлены до macOS 15+ и Python 3.11+; в 2.16 планируются новые миграции MPSGraph→Metal.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В PyTorch 2.15 (с вкладом Hugging Face) улучшен бэкенд MPS для Apple Silicon: добавлена поддержка torch.float8_e4m3fn (FP8) с F.scaled_mm, ускорены одиночные линейные операции и grouped matmul — декодировка MoE стала в 5–6.5× быстрее (например, Qwen3.6‑35B‑A3B с 9.4→61.3 ток/с на M3 Ultra), ускорен softmax примерно в 8×, а новые Metal‑ядра значительно снизили память драйвера при декодировании видео (Wan2.2) с ~270 ГиБ до ~8 ГиБ.
- Требования обновлены до macOS 15+ и Python 3.11+; в 2.16 планируются новые миграции MPSGraph→Metal.
- Это заметно ускоряет и уменьшает расход памяти при запуске и обучении LLM и медиамоделей на Mac, делая локальную инференс и мелкомасштабное обучение гораздо более практичными.
ПОЧЕМУ ЭТО ВАЖНО
Это заметно ускоряет и уменьшает расход памяти при запуске и обучении LLM и медиамоделей на Mac, делая локальную инференс и мелкомасштабное обучение гораздо более практичными.