ИССЛЕДОВАНИЕ · RESEARCH · #3185
Отпечаток в эмбеддинговом пространстве позволяет восстановить домен донастройки LoRA
Авторы (arXiv:2611.07610v1) проверяют, можно ли восстановить домен донастройки LoRA, имея только артефакт модели. На базе Qwen3.5-0.8B они получили 36 донастроек LoRA по 18 публичным датасетам в пяти доменах и по предзарегистрированному LODO‑протоколу извлекли три типа признаков (дельты весов, внутренние активации и выводы); классификатор определяет домен значительно лучше случайного угадывания по серым‑ящичным активациям (61%) и по черным‑ящичным выводам (64%), тогда как статистики дельт весов дают 42%, и результат по черному ящику сохраняется при использовании только сгенерированного текста.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы (arXiv:2611.07610v1) проверяют, можно ли восстановить домен донастройки LoRA, имея только артефакт модели.
- На базе Qwen3.5-0.8B они получили 36 донастроек LoRA по 18 публичным датасетам в пяти доменах и по предзарегистрированному LODO‑протоколу извлекли три типа признаков (дельты весов, внутренние активации и выводы); классификатор определяет домен значительно лучше случайного угадывания по серым‑ящичным активациям (61%) и по черным‑ящичным выводам (64%), тогда как статистики дельт весов дают 42%, и результат по черному ящику сохраняется при использовании только сгенерированного текста.
- Показывает, что артефакты донастройки LoRA могут выдавать домен обучающих данных по весам, активациям или выводам, что важно для приватности, распространения моделей и мер защиты (например, встраивания меток).
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что артефакты донастройки LoRA могут выдавать домен обучающих данных по весам, активациям или выводам, что важно для приватности, распространения моделей и мер защиты (например, встраивания меток).