Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #369

Low-Rank Adaptation (LoRA)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

LSA-PAST: экономичные адаптеры с переносом прототипов для композиционного инкрементального обучения

Статья (arXiv:2610.27203v1) предлагает LSA-PAST — метод, который встраивает LoRA-подобные адаптеры, специализированные по глубине, в замороженный ViT для состояний, объектов и композиций, и применяет безрепетиционный афинный преобразователь (PAST) для переноса прошлых прототипов в текущее пространство адаптеров, обеспечивая совместимость старых прототипов при появлении новых композиций; в экспериментах показан лучший компромисс между точностью и забыванием.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

FLoKD: Адаптивный knowledge distillation для федеративного дообучения LLM с LoRA по беспроводным сетям

В препринте на arXiv предложен FLoKD — адаптивная схема knowledge distillation для федеративного дообучения LLM с LoRA по ограниченным по полосе пропускания беспроводным сетям. Вместо передачи полных параметров или логитов токенов FLoKD передаёт промежуточные LoRA-активации и выборочно транслирует наиболее информативные блоки трансформера и публичные образцы, близкие к локальному распределению; по результатам на WikiText-103, PTB и диалоговом наборе данных авторы сообщают снижение объёма передачи на 50–65% при сходимости к сопоставимому перплексиону по сравнению с базовыми методами.

6.0