ИССЛЕДОВАНИЕ · RESEARCH · #2640
Выпуск IRON-Meme — бенчмарк по структурному анализу идентичностей и ролей в политических мемах
Авторы представляют IRON-Meme — размеченный людьми бенчмарк из 1 110 политических мемов, основанный на теоретической модели, учитывающей социальные идентичности, точки зрения (свои/чужие) и нарративные роли (моральный облик, интеллект, статус, власть). Они протестировали девять визуально‑языковых моделей, отметили наилучшие результаты у моделей фронтирного масштаба и моделей рассуждения, худшую точность по редким меткам и то, что использование фона шаблонов не улучшает классификацию ролей; датасет и код опубликованы.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы представляют IRON-Meme — размеченный людьми бенчмарк из 1 110 политических мемов, основанный на теоретической модели, учитывающей социальные идентичности, точки зрения (свои/чужие) и нарративные роли (моральный облик, интеллект, статус, власть).
- Они протестировали девять визуально‑языковых моделей, отметили наилучшие результаты у моделей фронтирного масштаба и моделей рассуждения, худшую точность по редким меткам и то, что использование фона шаблонов не улучшает классификацию ролей; датасет и код опубликованы.
- Предоставляет теоретически обоснованный, размеченный людьми бенчмарк, выявляющий сильные и слабые стороны визуально‑языковых моделей в интерпретации политических мемов и полезный для исследований нарративов и дезинформации.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет теоретически обоснованный, размеченный людьми бенчмарк, выявляющий сильные и слабые стороны визуально‑языковых моделей в интерпретации политических мемов и полезный для исследований нарративов и дезинформации.