ИССЛЕДОВАНИЕ · RESEARCH · #2970
Методы калибровки квантизации HiFloat4: HiGPTQ, HiAutoRound, HiFlatQuant
В статье на arXiv (2610.41112v1) исследуются три подхода к калибровке формата HiFloat4 (HiF4) — HiGPTQ, HiAutoRound и HiFlatQuant. Авторы сообщают, что эти методы сокращают разрыв по точности с BF16 до менее чем 1% и превосходят NVFP4 на различных моделях и задачах по сравнению с прямым переводом в HiF4.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv (2610.41112v1) исследуются три подхода к калибровке формата HiFloat4 (HiF4) — HiGPTQ, HiAutoRound и HiFlatQuant.
- Авторы сообщают, что эти методы сокращают разрыв по точности с BF16 до менее чем 1% и превосходят NVFP4 на различных моделях и задачах по сравнению с прямым переводом в HiF4.
- Улучшенная калибровка HiFloat4 делает 4-битную BFP-квантизацию более надёжной, снижая затраты памяти и вычислений при развёртывании LLM с минимальной потерей точности.
ПОЧЕМУ ЭТО ВАЖНО
Улучшенная калибровка HiFloat4 делает 4-битную BFP-квантизацию более надёжной, снижая затраты памяти и вычислений при развёртывании LLM с минимальной потерей точности.