GRAM: групповой ранживо-ориентированный слив моделей (arXiv:2610.29110v1)
В статье предложен GRAM — метод, который группирует геометрически совместимые обновления задач по принципу углов между подпространствами и затем выполняет SVD-слияние внутри каждой группы, опираясь только на дообученные веса. GRAM снижает так называемое «взаимное подавление подпространств» и превосходит предыдущие методы слияния на GLUE с Flan-T5, наборе из 8 задач для CLIP и мединструкционной версии Qwen2-7B-Instruct с LoRA.