ИССЛЕДОВАНИЕ · RESEARCH · #3642
Статья оценивает квантование MXFP6/MXFP8 для R&R на AMD MI350X и сообщает измеренные ускорения GEMM
arXiv:2611.17501v1 содержит эмпирическую оценку MXFP8 и нативного 6-битного формата MXFP6 для промышленного инференса рекомендационных и ранжировочных моделей на AMD MI350X. Авторы сообщают об ускорениях GEMM-ядер по сравнению с FP16: 1,33–1,55× для MXFP8 и 1,73–1,99× для MXFP6 (до 2,90× на отдельных слоях), а также о приростах сквозной пропускной способности при выборочном применении MXFP6: 1,5–5,3% для одной производственной рекламной модели и 7,6–14,3% для другой, при сохранении строгого порога паритета NE в 0,01%.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- arXiv:2611.17501v1 содержит эмпирическую оценку MXFP8 и нативного 6-битного формата MXFP6 для промышленного инференса рекомендационных и ранжировочных моделей на AMD MI350X.
- Авторы сообщают об ускорениях GEMM-ядер по сравнению с FP16: 1,33–1,55× для MXFP8 и 1,73–1,99× для MXFP6 (до 2,90× на отдельных слоях), а также о приростах сквозной пропускной способности при выборочном применении MXFP6: 1,5–5,3% для одной производственной рекламной модели и 7,6–14,3% для другой, при сохранении строгого порога паритета NE в 0,01%.
- Если воспроизводимо, нативный 6‑битный MXFP6, сохраняющий строгую точность R&R, может обеспечить заметно более дешёвый и быстрый производственный инференс для систем ранжирования рекламы и повлиять на выбор аппаратных/программных методов квантования.
ПОЧЕМУ ЭТО ВАЖНО
Если воспроизводимо, нативный 6‑битный MXFP6, сохраняющий строгую точность R&R, может обеспечить заметно более дешёвый и быстрый производственный инференс для систем ранжирования рекламы и повлиять на выбор аппаратных/программных методов квантования.