Multiverse сводит удаление блоков в LLM к оптимизации Исинга и сообщает о значительном росте MMLU
В новой работе Multiverse «LLM Compression by Block Removal with Constrained Binary Optimization» выбор блоков для глубинного прауннинга формализован как задача бинарной оптимизации с ограничением, эквивалентная стеклу Исинга; гессиан связей между блоками вычисляется один раз на небольшой калибровочной выборке, что позволяет дешево оценивать конфигурации по энергии. Авторы утверждают, что поиск по взаимодействующим комбинациям блоков даёт значительный выигрыш в глубокой компрессии — например, почти на 23 процентных пункта по MMLU при 50% сжатии Llama-3.3-70B-Instruct по сравнению с лучшим соперником среди методов удаления блоков.