Оценка мультимодальных LLM, согласованных с мозгом, для понимания соцэмоций в мультфильмах
В статье на arXiv сравниваются диффузионные и автогрессивные мультимодальные LLM с непрерывными человеческими оценками теории разума и эмоциональной валентности для трёх коротких мультфильмов, анализируются временные корреляции, распределения оценок и влияние предыдущего контекста сцены. Оценки использовали в субъект-специфичных регрессиях для предсказания региональной fMRI-активности; выяснилось, что MLLM фиксируют аспекты человеческой временной изменчивости (сильнее для валентности), что эффект контекста зависит от модели и фильма, и что соответствие между моделями и человеческими данными ограничено и зависит от стимулов.