Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #372

Knowledge distillation

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Cognition-Aligned Reasoning Distillation (CARD): преобразование траекторий решателя в траектории обучения

В статье представлен CARD — фреймворк на основе RL, который преобразует имеющиеся траектории решателя в траектории обучения, согласованные с когнитивными возможностями студента, оптимизируя два вознаграждения (совпадение распределений и логическая согласованность) для облегчения усвоения рассуждений малыми моделями. Оценки показывают улучшение дистилляции в домене и значительный рост качества вне домена; код доступен на GitHub авторов.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

FLoKD: Адаптивный knowledge distillation для федеративного дообучения LLM с LoRA по беспроводным сетям

В препринте на arXiv предложен FLoKD — адаптивная схема knowledge distillation для федеративного дообучения LLM с LoRA по ограниченным по полосе пропускания беспроводным сетям. Вместо передачи полных параметров или логитов токенов FLoKD передаёт промежуточные LoRA-активации и выборочно транслирует наиболее информативные блоки трансформера и публичные образцы, близкие к локальному распределению; по результатам на WikiText-103, PTB и диалоговом наборе данных авторы сообщают снижение объёма передачи на 50–65% при сходимости к сопоставимому перплексиону по сравнению с базовыми методами.

6.0