Оценка с учётом несоответствия показывает, что рассогласование аудио и текста ухудшает распознавание эмоций в аудио-LLM
Предпечатная статья предлагает непрерывную безпороговую меру несоответствия (на основе валентности–возбуждения–доминирования и смеси из двух гауссиан, валидация — по человеческим оценкам) для количественной оценки рассогласования аудио и текста и проверяет три аудио-способных LLM на eNTERFACE'05, MELD и CMU-MOSEI. Авторы показывают, что увеличение несоответствия повышает вероятность ошибки при наличии аудиодорожки во всех корпусах, тогда как контролируемые классификаторы ведут себя иначе; опубликованы код, таблицы данных и подсказки.