JIVEAdapter: аддитивный многозадачный низкоранговый адаптер на основе JIVE
В статье предложен JIVEAdapter — аддитивный низкоранговый адаптер, который разлагает обновления весов на общую «Joint»-часть и пер-задание «Individual»-части, принуждает их к почти ортогональности и адаптивно распределяет ранги между общим и задачными пулами. На DeBERTaV3-base для GLUE и SuperGLUE JIVEAdapter показал сопоставимые результаты с сильными базовыми низкоранговыми методами при равном пер-задачном эффективном ранге и позволяет замораживать Joint для последующего дешёвого переиспользования.