ИССЛЕДОВАНИЕ · RESEARCH · #1642
JIVEAdapter: аддитивный многозадачный низкоранговый адаптер на основе JIVE
В статье предложен JIVEAdapter — аддитивный низкоранговый адаптер, который разлагает обновления весов на общую «Joint»-часть и пер-задание «Individual»-части, принуждает их к почти ортогональности и адаптивно распределяет ранги между общим и задачными пулами. На DeBERTaV3-base для GLUE и SuperGLUE JIVEAdapter показал сопоставимые результаты с сильными базовыми низкоранговыми методами при равном пер-задачном эффективном ранге и позволяет замораживать Joint для последующего дешёвого переиспользования.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен JIVEAdapter — аддитивный низкоранговый адаптер, который разлагает обновления весов на общую «Joint»-часть и пер-задание «Individual»-части, принуждает их к почти ортогональности и адаптивно распределяет ранги между общим и задачными пулами.
- На DeBERTaV3-base для GLUE и SuperGLUE JIVEAdapter показал сопоставимые результаты с сильными базовыми низкоранговыми методами при равном пер-задачном эффективном ранге и позволяет замораживать Joint для последующего дешёвого переиспользования.
- Разделение и заморозка общей части с адаптивным выделением задачных рангов даёт более интерпретируемое, переиспользуемое и параметр-эффективное многозадачное дообучение без дополнительных модулей вроде MoE.
ПОЧЕМУ ЭТО ВАЖНО
Разделение и заморозка общей части с адаптивным выделением задачных рангов даёт более интерпретируемое, переиспользуемое и параметр-эффективное многозадачное дообучение без дополнительных модулей вроде MoE.