ИССЛЕДОВАНИЕ · RESEARCH · #2316
EDMA: метод на основе энтропии для мультимодальных вопросов-ответов
EDMA (Entropy-Driven Multimodal Answering) — препринт на arXiv (v1), формализующий мультимодальное QA как итеративное снижение логической энтропии. Предложены условное разбиение по модальностям, энтропийное мультимодальное слияние и выбор траекторий на основе энтропии для количественной оценки вклада каждой модальности; на стандартных бенчмарках MMQA авторы сообщают средние приросты 12.8 F1 и 4.6 LLM-J по сравнению с Planning Prompting и 18.6 F1 и 8.3 LLM-J по сравнению с Chain-of-Thought, а также показывают корреляцию между высокой энтропией и большим числом ложных срабатываний.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- EDMA (Entropy-Driven Multimodal Answering) — препринт на arXiv (v1), формализующий мультимодальное QA как итеративное снижение логической энтропии.
- Предложены условное разбиение по модальностям, энтропийное мультимодальное слияние и выбор траекторий на основе энтропии для количественной оценки вклада каждой модальности; на стандартных бенчмарках MMQA авторы сообщают средние приросты 12.8 F1 и 4.6 LLM-J по сравнению с Planning Prompting и 18.6 F1 и 8.3 LLM-J по сравнению с Chain-of-Thought, а также показывают корреляцию между высокой энтропией и большим числом ложных срабатываний.
- Вводит измеримый метод на основе энтропии для атрибуции вклада модальностей и выбора траекторий рассуждений, улучшая прослеживаемость и качество в мультимодальном QA.
ПОЧЕМУ ЭТО ВАЖНО
Вводит измеримый метод на основе энтропии для атрибуции вклада модальностей и выбора траекторий рассуждений, улучшая прослеживаемость и качество в мультимодальном QA.