ИССЛЕДОВАНИЕ · RESEARCH · #2542
MPQ: подход message-passing к посттренировочной квантизации (arXiv:2610.32127v1)
В докладе на arXiv предложен MPQ (Message-Passing Quantization): строковую посттренировочную квантизацию рассматривают как апостериорный вывод по дискретным кодбукам и сохраняют мягкую апостериорную информацию между блоками с помощью векторного приближённого message passing, а затем переходят к жёстким кодовым словам через блоковую координатную оптимизацию. Авторы показывают улучшения перплексии и zero-shot точности по сравнению с жёсткими решениями (например, GPTQ/LDLQ) при 2-битной и 3–4-битной квантизации для Llama, Qwen и Mistral и публикуют реализацию на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В докладе на arXiv предложен MPQ (Message-Passing Quantization): строковую посттренировочную квантизацию рассматривают как апостериорный вывод по дискретным кодбукам и сохраняют мягкую апостериорную информацию между блоками с помощью векторного приближённого message passing, а затем переходят к жёстким кодовым словам через блоковую координатную оптимизацию.
- Авторы показывают улучшения перплексии и zero-shot точности по сравнению с жёсткими решениями (например, GPTQ/LDLQ) при 2-битной и 3–4-битной квантизации для Llama, Qwen и Mistral и публикуют реализацию на GitHub.
- Посттренировочная квантизация важна для развёртывания больших языковых моделей; подход MPQ с перенесением мягкой апостериорной информации может снизить потери при низкоразрядной квантизации и улучшить эффективность и точность LLM в практике.
ПОЧЕМУ ЭТО ВАЖНО
Посттренировочная квантизация важна для развёртывания больших языковых моделей; подход MPQ с перенесением мягкой апостериорной информации может снизить потери при низкоразрядной квантизации и улучшить эффективность и точность LLM в практике.