ИССЛЕДОВАНИЕ · RESEARCH · #2460
GRAM: групповой ранживо-ориентированный слив моделей (arXiv:2610.29110v1)
В статье предложен GRAM — метод, который группирует геометрически совместимые обновления задач по принципу углов между подпространствами и затем выполняет SVD-слияние внутри каждой группы, опираясь только на дообученные веса. GRAM снижает так называемое «взаимное подавление подпространств» и превосходит предыдущие методы слияния на GLUE с Flan-T5, наборе из 8 задач для CLIP и мединструкционной версии Qwen2-7B-Instruct с LoRA.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен GRAM — метод, который группирует геометрически совместимые обновления задач по принципу углов между подпространствами и затем выполняет SVD-слияние внутри каждой группы, опираясь только на дообученные веса.
- GRAM снижает так называемое «взаимное подавление подпространств» и превосходит предыдущие методы слияния на GLUE с Flan-T5, наборе из 8 задач для CLIP и мединструкционной версии Qwen2-7B-Instruct с LoRA.
- Группировка обновлений задач по геометрии подпространств помогает сохранить релевантные направления и уменьшить ошибку агрегации — важно при развёртывании агрегированных моделей из локально дообученных весов в условиях конфиденциальности и регуляции.
ПОЧЕМУ ЭТО ВАЖНО
Группировка обновлений задач по геометрии подпространств помогает сохранить релевантные направления и уменьшить ошибку агрегации — важно при развёртывании агрегированных моделей из локально дообученных весов в условиях конфиденциальности и регуляции.