Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3185

Отпечаток в эмбеддинговом пространстве позволяет восстановить домен донастройки LoRA

Авторы (arXiv:2611.07610v1) проверяют, можно ли восстановить домен донастройки LoRA, имея только артефакт модели. На базе Qwen3.5-0.8B они получили 36 донастроек LoRA по 18 публичным датасетам в пяти доменах и по предзарегистрированному LODO‑протоколу извлекли три типа признаков (дельты весов, внутренние активации и выводы); классификатор определяет домен значительно лучше случайного угадывания по серым‑ящичным активациям (61%) и по черным‑ящичным выводам (64%), тогда как статистики дельт весов дают 42%, и результат по черному ящику сохраняется при использовании только сгенерированного текста.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Авторы (arXiv:2611.07610v1) проверяют, можно ли восстановить домен донастройки LoRA, имея только артефакт модели.
  2. На базе Qwen3.5-0.8B они получили 36 донастроек LoRA по 18 публичным датасетам в пяти доменах и по предзарегистрированному LODO‑протоколу извлекли три типа признаков (дельты весов, внутренние активации и выводы); классификатор определяет домен значительно лучше случайного угадывания по серым‑ящичным активациям (61%) и по черным‑ящичным выводам (64%), тогда как статистики дельт весов дают 42%, и результат по черному ящику сохраняется при использовании только сгенерированного текста.
  3. Показывает, что артефакты донастройки LoRA могут выдавать домен обучающих данных по весам, активациям или выводам, что важно для приватности, распространения моделей и мер защиты (например, встраивания меток).

ПОЧЕМУ ЭТО ВАЖНО

Показывает, что артефакты донастройки LoRA могут выдавать домен обучающих данных по весам, активациям или выводам, что важно для приватности, распространения моделей и мер защиты (например, встраивания меток).

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1