ИССЛЕДОВАНИЕ · RESEARCH · #2085
MSP: Modality Self-Play (arXiv:2610.20965v1) позволяет обучать мультимодальные LLM без парных кросс‑модальных данных
В работе предложена Modality Self-Play (MSP) — метод обучения, в котором модель генерирует прокси‑текстовые описания как семантические мосты для выравнивания и композиции модальностей без реальных парных не‑текстовых данных. MSP использует опорную модальность, прокси‑описания, предобученные контрастивные энкодеры и обучаемые мосты распределений модальностей, обеспечивая нулевой выстрел в кросс‑модальной композиции и показывая сопоставимые или лучшие результаты на нескольких бенчмарках.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложена Modality Self-Play (MSP) — метод обучения, в котором модель генерирует прокси‑текстовые описания как семантические мосты для выравнивания и композиции модальностей без реальных парных не‑текстовых данных.
- MSP использует опорную модальность, прокси‑описания, предобученные контрастивные энкодеры и обучаемые мосты распределений модальностей, обеспечивая нулевой выстрел в кросс‑модальной композиции и показывая сопоставимые или лучшие результаты на нескольких бенчмарках.
- MSP может устранить узкое место в виде дорогостоящих парных мультимодальных датасетов, позволяя масштабируемо обучать модели, которые на этапе инференса сочетают ранее не встречавшиеся модальности.
ПОЧЕМУ ЭТО ВАЖНО
MSP может устранить узкое место в виде дорогостоящих парных мультимодальных датасетов, позволяя масштабируемо обучать модели, которые на этапе инференса сочетают ранее не встречавшиеся модальности.