ИССЛЕДОВАНИЕ · RESEARCH · #2173
Оценка мультимодальных LLM, согласованных с мозгом, для понимания соцэмоций в мультфильмах
В статье на arXiv сравниваются диффузионные и автогрессивные мультимодальные LLM с непрерывными человеческими оценками теории разума и эмоциональной валентности для трёх коротких мультфильмов, анализируются временные корреляции, распределения оценок и влияние предыдущего контекста сцены. Оценки использовали в субъект-специфичных регрессиях для предсказания региональной fMRI-активности; выяснилось, что MLLM фиксируют аспекты человеческой временной изменчивости (сильнее для валентности), что эффект контекста зависит от модели и фильма, и что соответствие между моделями и человеческими данными ограничено и зависит от стимулов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv сравниваются диффузионные и автогрессивные мультимодальные LLM с непрерывными человеческими оценками теории разума и эмоциональной валентности для трёх коротких мультфильмов, анализируются временные корреляции, распределения оценок и влияние предыдущего контекста сцены.
- Оценки использовали в субъект-специфичных регрессиях для предсказания региональной fMRI-активности; выяснилось, что MLLM фиксируют аспекты человеческой временной изменчивости (сильнее для валентности), что эффект контекста зависит от модели и фильма, и что соответствие между моделями и человеческими данными ограничено и зависит от стимулов.
- Показывает, что MLLM могут служить масштабируемыми аннотаторами соцэмоционального контента, но подчёркивает систематические разницы в оценках и модельно/стимул-зависимые ограничения замены человеческих суждений.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что MLLM могут служить масштабируемыми аннотаторами соцэмоционального контента, но подчёркивает систематические разницы в оценках и модельно/стимул-зависимые ограничения замены человеческих суждений.