Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3622

Спектральная рамка для универсальной прокси-регуляризации при объединении моделей (arXiv:2611.17728v1)

В статье предложена спектральная рамка, которая через показатели спектрального покрытия (α) и утечки (β) характеризует, когда задачонезависимая прокси-распределение может заменить данные задач при объединении моделей, и выведена единая оценка параметрических взаимных помех, показывающая, что меньшие (α,β) снижают помехи. Авторы предлагают прокси-регуляризатор в трёх вариантах (J: точный через якобиан-вектор, F: приближение через матрицу Фишера, O: ограничение отклонения выхода), показывают совпадение при NTK-линеаризации, анализируют отклонения в нелинейной донастройке и подтверждают предсказания на CLIP.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В статье предложена спектральная рамка, которая через показатели спектрального покрытия (α) и утечки (β) характеризует, когда задачонезависимая прокси-распределение может заменить данные задач при объединении моделей, и выведена единая оценка параметрических взаимных помех, показывающая, что меньшие (α,β) снижают помехи.
  2. Авторы предлагают прокси-регуляризатор в трёх вариантах (J: точный через якобиан-вектор, F: приближение через матрицу Фишера, O: ограничение отклонения выхода), показывают совпадение при NTK-линеаризации, анализируют отклонения в нелинейной донастройке и подтверждают предсказания на CLIP.
  3. Это даёт теоретическое и практическое объяснение, когда задачонезависимые прокси-данные достаточны для приватного объединения моделей, и предлагает конкретные регуляризаторы с доказуемым поведением для снижения межзадачных помех без совместного обучения.

ПОЧЕМУ ЭТО ВАЖНО

Это даёт теоретическое и практическое объяснение, когда задачонезависимые прокси-данные достаточны для приватного объединения моделей, и предлагает конкретные регуляризаторы с доказуемым поведением для снижения межзадачных помех без совместного обучения.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1