НОВОСТЬ · RESEARCH · #356
Формат BITCOS снижает хранение терарных LLM ниже 1.58 бита и ускоряет инференс
В работе на arXiv (2609.16338v1) предложен BITCOS — адаптивный к распределению формат хранения терарных весов, совмещающий плотную битовую карту присутствия и компактный вектор знаков, дающий стоимость хранения 2 - z бит на вес при нулевой плотности z. На 29 терарных моделях BITCOS превосходит пяти- тритную упаковку в 26 случаях (до 1.485 бита/вес), содержит оптимизированные последовательности распаковки для AVX-512/AVX2 и Intel Xe2 GPU и обеспечивает до 1.28× ускорения ядра и до 1.18× на CPU / 1.27× на GPU в реальном инференсе.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе на arXiv (2609.16338v1) предложен BITCOS — адаптивный к распределению формат хранения терарных весов, совмещающий плотную битовую карту присутствия и компактный вектор знаков, дающий стоимость хранения 2 - z бит на вес при нулевой плотности z.
- На 29 терарных моделях BITCOS превосходит пяти- тритную упаковку в 26 случаях (до 1.485 бита/вес), содержит оптимизированные последовательности распаковки для AVX-512/AVX2 и Intel Xe2 GPU и обеспечивает до 1.28× ускорения ядра и до 1.18× на CPU / 1.27× на GPU в реальном инференсе.
- BITCOS существенно уменьшает объём хранения терарных весов и преобразует это сжатие в измеримые приросты пропускной способности инференса на CPU и GPU, повышая эффективность развёртывания терарных LLM.
ПОЧЕМУ ЭТО ВАЖНО
BITCOS существенно уменьшает объём хранения терарных весов и преобразует это сжатие в измеримые приросты пропускной способности инференса на CPU и GPU, повышая эффективность развёртывания терарных LLM.