ИССЛЕДОВАНИЕ · RESEARCH · #2319
Статья Omni-Woodpecker (arXiv v1): бездомаинная перебалансировка представлений для уменьшения кросс-модальных галлюцинаций в omni-LLM
Omni-Woodpecker (OWP) — это бeздобавочная (training-free) схема, которая выявляет кросс-модальные конфликты, разлагает скрытые состояния, отделяя органы доказательств от конкурирующих приоров, и адаптивно перебалансирует объединённые представления, подавляя вводящие в заблуждение приоры перед декодированием. В версии arXiv v1 авторы сообщают об улучшениях Qwen2.5-Omni-7B на 12.9 и 8.6 балла по CMM и AVHBench соответственно, о приростах 0.67–2.25 балла на четырёх общих бенчмарках OLLM и о повышении результатов VideoLLaMA2-AV на 4.6 и 3.9 балла; код опубликован на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Omni-Woodpecker (OWP) — это бeздобавочная (training-free) схема, которая выявляет кросс-модальные конфликты, разлагает скрытые состояния, отделяя органы доказательств от конкурирующих приоров, и адаптивно перебалансирует объединённые представления, подавляя вводящие в заблуждение приоры перед декодированием.
- В версии arXiv v1 авторы сообщают об улучшениях Qwen2.5-Omni-7B на 12.9 и 8.6 балла по CMM и AVHBench соответственно, о приростах 0.67–2.25 балла на четырёх общих бенчмарках OLLM и о повышении результатов VideoLLaMA2-AV на 4.6 и 3.9 балла; код опубликован на GitHub.
- Уменьшает кросс-модальные галлюцинации без дополнительного обучения и обобщается на разные архитектуры omni-LLM, что может повысить надёжность мультимодальных моделей.
ПОЧЕМУ ЭТО ВАЖНО
Уменьшает кросс-модальные галлюцинации без дополнительного обучения и обобщается на разные архитектуры omni-LLM, что может повысить надёжность мультимодальных моделей.