Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3448

Evaluating the Evaluators: судьи-LLM часто расходятся с людьми в оценке персонального стиля письма (NeurIPS 2026)

Статья (принята на воркшоп Can We Trust AI Evaluation? на NeurIPS 2026) исследует, насколько хорошо LLM выступают в роли судей для персонализированных заданий по длинным текстам. Авторы сгенерировали ответы четырьмя LLM для трёх задач, собрали парные человеческие предпочтения и сравнили их с ранжированиями LLM-судей; они обнаружили слабую корреляцию качества судей с общей способностью (MMLU ρ ≤ 0.2), вариативность по задаче и цели оценки, большую согласованность при парных сравнениях и то, что самые мощные LLM не всегда наиболее согласуются с людьми.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Статья (принята на воркшоп Can We Trust AI Evaluation?
  2. на NeurIPS 2026) исследует, насколько хорошо LLM выступают в роли судей для персонализированных заданий по длинным текстам.
  3. Авторы сгенерировали ответы четырьмя LLM для трёх задач, собрали парные человеческие предпочтения и сравнили их с ранжированиями LLM-судей; они обнаружили слабую корреляцию качества судей с общей способностью (MMLU ρ ≤ 0.2), вариативность по задаче и цели оценки, большую согласованность при парных сравнениях и то, что самые мощные LLM не всегда наиболее согласуются с людьми.

ПОЧЕМУ ЭТО ВАЖНО

Результаты показывают ограничения использования LLM как автоматических оценщиков персонального стиля и указывают, что дизайн оценки (парные сравнения) и выбор модели существенно влияют на соответствие человеческим суждениям.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1