ИССЛЕДОВАНИЕ · RESEARCH · #1892
Исследование: LLM при оценке по MQM и ESA показывают смешанные и зачастую ненадёжные результаты в сравнении с людьми
Авторы оценили большие языковые модели по двум схемам оценки машинного перевода — MQM и ESA — на датасетах с длинным контекстом для 70 языковых пар и на данных WMT23 и WMT25. Результаты показывают, что согласие LLM с людскими аннотаторами иногда превосходит межаннотационное согласие, но поведение сильно меняется в зависимости от схемы, языка и домена и в большинстве случаев остаётся ненадёжным; люди испытывают трудности с тонкой MQM-аннотацией и слабыми языковыми парами, а LLM пропускают мелкие ошибки, неверные варианты языка и трудности с разметкой интервалов ошибок.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы оценили большие языковые модели по двум схемам оценки машинного перевода — MQM и ESA — на датасетах с длинным контекстом для 70 языковых пар и на данных WMT23 и WMT25.
- Результаты показывают, что согласие LLM с людскими аннотаторами иногда превосходит межаннотационное согласие, но поведение сильно меняется в зависимости от схемы, языка и домена и в большинстве случаев остаётся ненадёжным; люди испытывают трудности с тонкой MQM-аннотацией и слабыми языковыми парами, а LLM пропускают мелкие ошибки, неверные варианты языка и трудности с разметкой интервалов ошибок.
- Это важно, поскольку показывает, что LLM пока не являются надёжной заменой людям для аннотации качества MT во множестве языков, схем и доменов, что влияет на процессы оценки и качество данных.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку показывает, что LLM пока не являются надёжной заменой людям для аннотации качества MT во множестве языков, схем и доменов, что влияет на процессы оценки и качество данных.