НОВОСТЬ · RESEARCH · #141
FLoKD: Адаптивный knowledge distillation для федеративного дообучения LLM с LoRA по беспроводным сетям
В препринте на arXiv предложен FLoKD — адаптивная схема knowledge distillation для федеративного дообучения LLM с LoRA по ограниченным по полосе пропускания беспроводным сетям. Вместо передачи полных параметров или логитов токенов FLoKD передаёт промежуточные LoRA-активации и выборочно транслирует наиболее информативные блоки трансформера и публичные образцы, близкие к локальному распределению; по результатам на WikiText-103, PTB и диалоговом наборе данных авторы сообщают снижение объёма передачи на 50–65% при сходимости к сопоставимому перплексиону по сравнению с базовыми методами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv предложен FLoKD — адаптивная схема knowledge distillation для федеративного дообучения LLM с LoRA по ограниченным по полосе пропускания беспроводным сетям.
- Вместо передачи полных параметров или логитов токенов FLoKD передаёт промежуточные LoRA-активации и выборочно транслирует наиболее информативные блоки трансформера и публичные образцы, близкие к локальному распределению; по результатам на WikiText-103, PTB и диалоговом наборе данных авторы сообщают снижение объёма передачи на 50–65% при сходимости к сопоставимому перплексиону по сравнению с базовыми методами.
- При широкой проверке FLoKD может существенно снизить коммуникационные затраты при приватном федеративном дообучении LLM на устройствах с ограниченной полосой, заменив передачу логитов/параметров на селективную дистилляцию активаций.
ПОЧЕМУ ЭТО ВАЖНО
При широкой проверке FLoKD может существенно снизить коммуникационные затраты при приватном федеративном дообучении LLM на устройствах с ограниченной полосой, заменив передачу логитов/параметров на селективную дистилляцию активаций.