vision-language models

2026-10-27

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Выпуск IRON-Meme — бенчмарк по структурному анализу идентичностей и ролей в политических мемах

Авторы представляют IRON-Meme — размеченный людьми бенчмарк из 1 110 политических мемов, основанный на теоретической модели, учитывающей социальные идентичности, точки зрения (свои/чужие) и нарративные роли (моральный облик, интеллект, статус, власть). Они протестировали девять визуально‑языковых моделей, отметили наилучшие результаты у моделей фронтирного масштаба и моделей рассуждения, худшую точность по редким меткам и то, что использование фона шаблонов не улучшает классификацию ролей; датасет и код опубликованы.

6.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

MOSAIC: разрежённая мультимодальная латентная атрибуция для визуально-языковых моделей (arXiv:2610.14190v1)

В работе представлен MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization) — метод, обучающий общую разрежённую латентную пространство для изображений и текста с непрерывными регионами и выровненными фразами, и использующий EK-FAC для распределения влияния обучающих примеров по конкретным фразам и участкам изображения. Авторы оценивают MOSAIC на Qwen и Gemma для задач генерации подписей, анализа рентгеновских снимков грудной клетки и визуальных вопросов, отмечая более локализованные и согласованные признаки и то, что удаление латентов по рангу влияния сильнее меняет выводы, чем удаление по активации или частоте.

7.0

2026-10-07

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

MOTIVE: рамка мульти-перспективной само-проверки для визуально-языковых моделей

Предпринт на arXiv (arXiv:2610.07018v1) представляет MOTIVE — рамку мульти-перспективной само-проверки, которая оценивает варианты ответов по нескольким дополняющим критериям и обучает показатель надежности, выровненный с корректностью, для принятия решения «принять или пересмотреть». Эксперименты на различных мультимодальных бенчмарках и с разными VLM показывают, что MOTIVE превосходит сильные базовые методы само-проверки и самокоррекции, снижая ненужные шаги рассуждения и повышая надежность ответов.

6.0

2026-08-12

MODELS · 1 ИСТОЧН. · Microsoft Research

Microsoft Research представила бенчмарк MindTopo для пространственного и топологического рассуждения VLM

Microsoft Research представила MindTopo — новый бенчмарк для проверки того, как визуально-языковые модели (VLM) понимают топологические и пространственные отношения. В анонсе MindTopo описывается как инструмент для оценки и улучшения пространственного рассуждения и планирования у VLM.

6.0

2026-08-11

RESEARCH · 1 ИСТОЧН. · Microsoft Research

Представляем CARE-X: единый подход к клинически полезным радиологическим VLM

Microsoft Research представила CARE-X — исследовательский подход к радиологическим VLM, который объединяет вспомогательное обучение, обучение с согласованной наградой и инструменты для измерений, чтобы обеспечить гибкое рассуждение, калиброванные предсказания и инструменты измерения для интерпретации рентгеновских снимков грудной клетки.

7.0