MOSAIC: разрежённая мультимодальная латентная атрибуция для визуально-языковых моделей (arXiv:2610.14190v1)
В работе представлен MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization) — метод, обучающий общую разрежённую латентную пространство для изображений и текста с непрерывными регионами и выровненными фразами, и использующий EK-FAC для распределения влияния обучающих примеров по конкретным фразам и участкам изображения. Авторы оценивают MOSAIC на Qwen и Gemma для задач генерации подписей, анализа рентгеновских снимков грудной клетки и визуальных вопросов, отмечая более локализованные и согласованные признаки и то, что удаление латентов по рангу влияния сильнее меняет выводы, чем удаление по активации или частоте.