Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #5494

multimodal large language models (MLLMs)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

5

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CST-Bench: эталон и аннотации для контрфактического пространственного рассуждения и метод CT-OPSD

Авторы представляют CST-Bench — набор из 7 082 примеров для контрфактического пространственного рассуждения с 6 типами вмешательств и 12 операторами трансформации и подробными причинно-следственными аннотациями (источники вмешательств, затронутые/инвариантные отношения, ожидаемые эффекты, метрические изменения). Они протестировали общие мультимодальные LLM на CST-Bench, сравнили стратегии постобучения и предложили CT-OPSD (Causal Transition On-Policy Self-Distillation), который использует аннотации для обучения цепочек переходов состояний у учителя и их дистилляции в студента, отмечая CST-Bench как трудную задачу и полезный ресурс для обучения.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Оценка мультимодальных LLM, согласованных с мозгом, для понимания соцэмоций в мультфильмах

В статье на arXiv сравниваются диффузионные и автогрессивные мультимодальные LLM с непрерывными человеческими оценками теории разума и эмоциональной валентности для трёх коротких мультфильмов, анализируются временные корреляции, распределения оценок и влияние предыдущего контекста сцены. Оценки использовали в субъект-специфичных регрессиях для предсказания региональной fMRI-активности; выяснилось, что MLLM фиксируют аспекты человеческой временной изменчивости (сильнее для валентности), что эффект контекста зависит от модели и фильма, и что соответствие между моделями и человеческими данными ограничено и зависит от стимулов.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GeoSpatialBench: бенчмарк для геопространственного рассуждения и ограниченного пространственного редактирования (arXiv v1)

Статья (arXiv:2610.12881v1) представляет GeoSpatialBench — бенчмарк для оценки геопространственного мышления и ограниченного пространственного редактирования на реальных городских данных в форматах GeoJSON и картографических изображений, охватывающий 28 топологических, направленных, метрических и порядковых отношений. Оценка передовых мультимодальных LLM показывает преимущество GeoJSON над картинками, отсутствие стабильного выигрыша от комбинирования модальностей, худшую работу по метрическим отношениям и редактированию по сравнению с QA, многие неудачные правки нарушают заданные геометрические ограничения.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DEEPO: оптимизация политики с двойной энтропией для уменьшения галлюцинаций в MLLM

Статья (arXiv:2609.28570v1) предлагает DEEPO — двухэтапное улучшение RL для мультимодальных LLM, которое сочетает префиксы-эксперты, срабатывающие при высокой семантической энтропии, для восстановления дисперсии преимущества, и преобусловливание Реньи по знаку преимущества для борьбы с насыщением логитов. Обе компоненты отдельно превосходят GRPO, а вместе дают статистически значимое улучшение на VideoMMMU (+4.0, 95% CI [1.1, 6.9]); DEEPO снижает галлюцинации без потери точности и стабильности обучения.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

PolyBridgeBench: бенчмарк для MLLM по проектированию мостов с учётом физики

PolyBridgeBench — исполняемый бенчмарк, в котором мультимодальным LLM требуется сгенерировать полную топологию моста (узлы, элементы, материалы) по визуальной сцене и инженерным ограничениям, после чего выполняются детерминированные проверки и динамическая физическая симуляция. Метрики включают детерминированную корректность, динамическую функциональность и восстановление после отказа; тесты шести MLLM на 189 уровнях показывают большой разрыв между формальной корректностью и реальной работоспособностью, высокую чувствительность к бюджетам материалов и ограниченное восстановление после неудач.

6.0