ИССЛЕДОВАНИЕ · RESEARCH · #2995
Оценка с учётом несоответствия показывает, что рассогласование аудио и текста ухудшает распознавание эмоций в аудио-LLM
Предпечатная статья предлагает непрерывную безпороговую меру несоответствия (на основе валентности–возбуждения–доминирования и смеси из двух гауссиан, валидация — по человеческим оценкам) для количественной оценки рассогласования аудио и текста и проверяет три аудио-способных LLM на eNTERFACE'05, MELD и CMU-MOSEI. Авторы показывают, что увеличение несоответствия повышает вероятность ошибки при наличии аудиодорожки во всех корпусах, тогда как контролируемые классификаторы ведут себя иначе; опубликованы код, таблицы данных и подсказки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Предпечатная статья предлагает непрерывную безпороговую меру несоответствия (на основе валентности–возбуждения–доминирования и смеси из двух гауссиан, валидация — по человеческим оценкам) для количественной оценки рассогласования аудио и текста и проверяет три аудио-способных LLM на eNTERFACE'05, MELD и CMU-MOSEI.
- Авторы показывают, что увеличение несоответствия повышает вероятность ошибки при наличии аудиодорожки во всех корпусах, тогда как контролируемые классификаторы ведут себя иначе; опубликованы код, таблицы данных и подсказки.
- Выявляет конкретный режим отказа аудио-способных LLM — рассогласование аудио и текста, влияющее на распознавание эмоций, и предоставляет верифицированную метрику и материалы для дальнейших исследований.
ПОЧЕМУ ЭТО ВАЖНО
Выявляет конкретный режим отказа аудио-способных LLM — рассогласование аудио и текста, влияющее на распознавание эмоций, и предоставляет верифицированную метрику и материалы для дальнейших исследований.