Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3642

Статья оценивает квантование MXFP6/MXFP8 для R&R на AMD MI350X и сообщает измеренные ускорения GEMM

arXiv:2611.17501v1 содержит эмпирическую оценку MXFP8 и нативного 6-битного формата MXFP6 для промышленного инференса рекомендационных и ранжировочных моделей на AMD MI350X. Авторы сообщают об ускорениях GEMM-ядер по сравнению с FP16: 1,33–1,55× для MXFP8 и 1,73–1,99× для MXFP6 (до 2,90× на отдельных слоях), а также о приростах сквозной пропускной способности при выборочном применении MXFP6: 1,5–5,3% для одной производственной рекламной модели и 7,6–14,3% для другой, при сохранении строгого порога паритета NE в 0,01%.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. arXiv:2611.17501v1 содержит эмпирическую оценку MXFP8 и нативного 6-битного формата MXFP6 для промышленного инференса рекомендационных и ранжировочных моделей на AMD MI350X.
  2. Авторы сообщают об ускорениях GEMM-ядер по сравнению с FP16: 1,33–1,55× для MXFP8 и 1,73–1,99× для MXFP6 (до 2,90× на отдельных слоях), а также о приростах сквозной пропускной способности при выборочном применении MXFP6: 1,5–5,3% для одной производственной рекламной модели и 7,6–14,3% для другой, при сохранении строгого порога паритета NE в 0,01%.
  3. Если воспроизводимо, нативный 6‑битный MXFP6, сохраняющий строгую точность R&R, может обеспечить заметно более дешёвый и быстрый производственный инференс для систем ранжирования рекламы и повлиять на выбор аппаратных/программных методов квантования.

ПОЧЕМУ ЭТО ВАЖНО

Если воспроизводимо, нативный 6‑битный MXFP6, сохраняющий строгую точность R&R, может обеспечить заметно более дешёвый и быстрый производственный инференс для систем ранжирования рекламы и повлиять на выбор аппаратных/программных методов квантования.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1