Исследование: LLM при оценке по MQM и ESA показывают смешанные и зачастую ненадёжные результаты в сравнении с людьми
Авторы оценили большие языковые модели по двум схемам оценки машинного перевода — MQM и ESA — на датасетах с длинным контекстом для 70 языковых пар и на данных WMT23 и WMT25. Результаты показывают, что согласие LLM с людскими аннотаторами иногда превосходит межаннотационное согласие, но поведение сильно меняется в зависимости от схемы, языка и домена и в большинстве случаев остаётся ненадёжным; люди испытывают трудности с тонкой MQM-аннотацией и слабыми языковыми парами, а LLM пропускают мелкие ошибки, неверные варианты языка и трудности с разметкой интервалов ошибок.