НОВОСТЬ · MODELS · #372
arXiv:2609.16129v1 предлагает оптимальную обрезку параметров через фишерову геодезическую дистанцию
Статья представляет схему обрезки параметров, выведённую из геодезической дистанции в пространстве моделей, определённой метрикой Фишера. Авторы формируют иерархию приближений (мagnitude pruning появляется как первый уровень) и сообщают, что предложенный фишерово‑геодезический метод превосходит обрезку по модулю и локальную фишерову схему для полностью связанных сетей и vision‑transformer’ов на MNIST и CIFAR‑10 по полному диапазону обрезки 0–100% и по пяти случайным инициализациям, оценивая по точности и коэффициенту Мэттьюса.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья представляет схему обрезки параметров, выведённую из геодезической дистанции в пространстве моделей, определённой метрикой Фишера.
- Авторы формируют иерархию приближений (мagnitude pruning появляется как первый уровень) и сообщают, что предложенный фишерово‑геодезический метод превосходит обрезку по модулю и локальную фишерову схему для полностью связанных сетей и vision‑transformer’ов на MNIST и CIFAR‑10 по полному диапазону обрезки 0–100% и по пяти случайным инициализациям, оценивая по точности и коэффициенту Мэттьюса.
- Предоставляет математически обоснованный критерий обрезки (фишерово‑геодезическая дистанция), который эмпирически даёт лучшие компромиссы сжатие–точность по сравнению с распространёнными эвристиками и может повлиять на практики сжатия моделей.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет математически обоснованный критерий обрезки (фишерово‑геодезическая дистанция), который эмпирически даёт лучшие компромиссы сжатие–точность по сравнению с распространёнными эвристиками и может повлиять на практики сжатия моделей.