НОВОСТЬ · MODELS · #1757
DRQ: распределённо-робастная доработка для низкобитного квантования LLM
В статье на arXiv показывают, что минимизация реконструкционного лосса в weight-only PTQ может не сработать или даже ухудшить качество при изменении распределения активаций, и предлагают Distributionally Robust Quantization (DRQ) — постхок‑доработку, минимизирующую худший случай реконструкционного лосса по ограниченному классу распределений входных активаций. DRQ корректирует целочисленные коды в существующей сетке квантования (без изменения параметров квантования и инференс‑операторов) и, по результатам экспериментов, улучшает модели, квантованные разными PTQ‑методами, включая AWQ, GPTQ и ParoQuant, для плотных и MoE‑моделей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv показывают, что минимизация реконструкционного лосса в weight-only PTQ может не сработать или даже ухудшить качество при изменении распределения активаций, и предлагают Distributionally Robust Quantization (DRQ) — постхок‑доработку, минимизирующую худший случай реконструкционного лосса по ограниченному классу распределений входных активаций.
- DRQ корректирует целочисленные коды в существующей сетке квантования (без изменения параметров квантования и инференс‑операторов) и, по результатам экспериментов, улучшает модели, квантованные разными PTQ‑методами, включая AWQ, GPTQ и ParoQuant, для плотных и MoE‑моделей.
- DRQ устраняет проблему рассогласования между калибровочными и реальными распределениями активаций, повышая качество низкобитного PTQ без дополнительных накладных расходов на инференс.
ПОЧЕМУ ЭТО ВАЖНО
DRQ устраняет проблему рассогласования между калибровочными и реальными распределениями активаций, повышая качество низкобитного PTQ без дополнительных накладных расходов на инференс.