ИССЛЕДОВАНИЕ · RESEARCH · #2023
MOSAIC: разрежённая мультимодальная латентная атрибуция для визуально-языковых моделей (arXiv:2610.14190v1)
В работе представлен MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization) — метод, обучающий общую разрежённую латентную пространство для изображений и текста с непрерывными регионами и выровненными фразами, и использующий EK-FAC для распределения влияния обучающих примеров по конкретным фразам и участкам изображения. Авторы оценивают MOSAIC на Qwen и Gemma для задач генерации подписей, анализа рентгеновских снимков грудной клетки и визуальных вопросов, отмечая более локализованные и согласованные признаки и то, что удаление латентов по рангу влияния сильнее меняет выводы, чем удаление по активации или частоте.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization) — метод, обучающий общую разрежённую латентную пространство для изображений и текста с непрерывными регионами и выровненными фразами, и использующий EK-FAC для распределения влияния обучающих примеров по конкретным фразам и участкам изображения.
- Авторы оценивают MOSAIC на Qwen и Gemma для задач генерации подписей, анализа рентгеновских снимков грудной клетки и визуальных вопросов, отмечая более локализованные и согласованные признаки и то, что удаление латентов по рангу влияния сильнее меняет выводы, чем удаление по активации или частоте.
- Соотносит влияние обучающих примеров с пространственно локализованными мультимодальными свидетельствами, обеспечивая более детальное и интерпретируемое объяснение поведения VLM.
ПОЧЕМУ ЭТО ВАЖНО
Соотносит влияние обучающих примеров с пространственно локализованными мультимодальными свидетельствами, обеспечивая более детальное и интерпретируемое объяснение поведения VLM.