MSP: Modality Self-Play (arXiv:2610.20965v1) позволяет обучать мультимодальные LLM без парных кросс‑модальных данных
В работе предложена Modality Self-Play (MSP) — метод обучения, в котором модель генерирует прокси‑текстовые описания как семантические мосты для выравнивания и композиции модальностей без реальных парных не‑текстовых данных. MSP использует опорную модальность, прокси‑описания, предобученные контрастивные энкодеры и обучаемые мосты распределений модальностей, обеспечивая нулевой выстрел в кросс‑модальной композиции и показывая сопоставимые или лучшие результаты на нескольких бенчмарках.