ИССЛЕДОВАНИЕ · RESEARCH · #741
Multiverse сводит удаление блоков в LLM к оптимизации Исинга и сообщает о значительном росте MMLU
В новой работе Multiverse «LLM Compression by Block Removal with Constrained Binary Optimization» выбор блоков для глубинного прауннинга формализован как задача бинарной оптимизации с ограничением, эквивалентная стеклу Исинга; гессиан связей между блоками вычисляется один раз на небольшой калибровочной выборке, что позволяет дешево оценивать конфигурации по энергии. Авторы утверждают, что поиск по взаимодействующим комбинациям блоков даёт значительный выигрыш в глубокой компрессии — например, почти на 23 процентных пункта по MMLU при 50% сжатии Llama-3.3-70B-Instruct по сравнению с лучшим соперником среди методов удаления блоков.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В новой работе Multiverse «LLM Compression by Block Removal with Constrained Binary Optimization» выбор блоков для глубинного прауннинга формализован как задача бинарной оптимизации с ограничением, эквивалентная стеклу Исинга; гессиан связей между блоками вычисляется один раз на небольшой калибровочной выборке, что позволяет дешево оценивать конфигурации по энергии.
- Авторы утверждают, что поиск по взаимодействующим комбинациям блоков даёт значительный выигрыш в глубокой компрессии — например, почти на 23 процентных пункта по MMLU при 50% сжатии Llama-3.3-70B-Instruct по сравнению с лучшим соперником среди методов удаления блоков.
- Метод даёт недорогой и формализованный способ учитывать попарные взаимодействия блоков при прауннинге LLM и демонстрирует крупные улучшения при высокой степени сжатия, что может изменить подходы к глубинному прауннингу.
ПОЧЕМУ ЭТО ВАЖНО
Метод даёт недорогой и формализованный способ учитывать попарные взаимодействия блоков при прауннинге LLM и демонстрирует крупные улучшения при высокой степени сжатия, что может изменить подходы к глубинному прауннингу.