ИССЛЕДОВАНИЕ · RESEARCH · #2697
LoRA на бюджете — функциональное распределение ранга (FRA) для сжатия флотов адаптеров
Этот препринт на arXiv представляет Functional Rank Allocation (FRA) — постфактумный метод, который строит для каждого адаптера функциональные фронты «ранг–искажение» и решает флотовую минимакс-алокацию для сжатия LoRA-адаптеров при общем ограничении ранга. FRA сочетает измерения отдельных модулей, поисковую суррогатную динамику, сквозную проверку и дополнительное спектральное предложение; при оценке на 78 адаптерах из трёх публичных флотов он улучшает худшие и хвостовые показатели по сравнению с равномерным спектральным сжатием в режимах ограниченного бюджета.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот препринт на arXiv представляет Functional Rank Allocation (FRA) — постфактумный метод, который строит для каждого адаптера функциональные фронты «ранг–искажение» и решает флотовую минимакс-алокацию для сжатия LoRA-адаптеров при общем ограничении ранга.
- FRA сочетает измерения отдельных модулей, поисковую суррогатную динамику, сквозную проверку и дополнительное спектральное предложение; при оценке на 78 адаптерах из трёх публичных флотов он улучшает худшие и хвостовые показатели по сравнению с равномерным спектральным сжатием в режимах ограниченного бюджета.
- Помогает операторам распределять ограниченный ранг LoRA по слоям и множеству адаптеров, сохраняя худшую и хвостовую полезность модели и повышая эффективность развёртывания больших флотов адаптеров.
ПОЧЕМУ ЭТО ВАЖНО
Помогает операторам распределять ограниченный ранг LoRA по слоям и множеству адаптеров, сохраняя худшую и хвостовую полезность модели и повышая эффективность развёртывания больших флотов адаптеров.