ИССЛЕДОВАНИЕ · RESEARCH · #1855
arXiv:2610.12781v1 — «Distilled Optimal Transport» для выравнивания представлений по нескольким парам якорей
Новый препринт на arXiv (2610.12781v1) предлагает метод «Distilled Optimal Transport», который описывает векторы признаков через сходство с небольшим набором (N≈100–500) парных якорей, выравнивает модальности решением одной энтропийной задачи оптимального транспорта с маргинальными ограничениями для снижения эффекта «хабности» и аппроксимирует план транспорта в лёгкие энкодеры для индуктивного соответствия. Авторы сообщают улучшения в задаче выравнивания изображение–текст и молекула–текст по сравнению с предыдущими подходами при том же бюджете якорей на Flickr30k, MS-COCO и ChEBI-20.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новый препринт на arXiv (2610.12781v1) предлагает метод «Distilled Optimal Transport», который описывает векторы признаков через сходство с небольшим набором (N≈100–500) парных якорей, выравнивает модальности решением одной энтропийной задачи оптимального транспорта с маргинальными ограничениями для снижения эффекта «хабности» и аппроксимирует план транспорта в лёгкие энкодеры для индуктивного соответствия.
- Авторы сообщают улучшения в задаче выравнивания изображение–текст и молекула–текст по сравнению с предыдущими подходами при том же бюджете якорей на Flickr30k, MS-COCO и ChEBI-20.
- Это даёт практичный способ выровнять заранее обученные одномодальные энкодеры при наличии лишь небольшого числа парных примеров, что полезно для кросс-модального поиска и выравнивания в условиях ограниченных данных.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт практичный способ выровнять заранее обученные одномодальные энкодеры при наличии лишь небольшого числа парных примеров, что полезно для кросс-модального поиска и выравнивания в условиях ограниченных данных.