DRQ: распределённо-робастная доработка для низкобитного квантования LLM
В статье на arXiv показывают, что минимизация реконструкционного лосса в weight-only PTQ может не сработать или даже ухудшить качество при изменении распределения активаций, и предлагают Distributionally Robust Quantization (DRQ) — постхок‑доработку, минимизирующую худший случай реконструкционного лосса по ограниченному классу распределений входных активаций. DRQ корректирует целочисленные коды в существующей сетке квантования (без изменения параметров квантования и инференс‑операторов) и, по результатам экспериментов, улучшает модели, квантованные разными PTQ‑методами, включая AWQ, GPTQ и ParoQuant, для плотных и MoE‑моделей.