FLoKD: Адаптивный knowledge distillation для федеративного дообучения LLM с LoRA по беспроводным сетям
В препринте на arXiv предложен FLoKD — адаптивная схема knowledge distillation для федеративного дообучения LLM с LoRA по ограниченным по полосе пропускания беспроводным сетям. Вместо передачи полных параметров или логитов токенов FLoKD передаёт промежуточные LoRA-активации и выборочно транслирует наиболее информативные блоки трансформера и публичные образцы, близкие к локальному распределению; по результатам на WikiText-103, PTB и диалоговом наборе данных авторы сообщают снижение объёма передачи на 50–65% при сходимости к сопоставимому перплексиону по сравнению с базовыми методами.