Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3105

Grounded but Not Immune: предвзятость подтверждения у оценщиков-Agent-as-a-Judge (arXiv:2611.05662v1)

Статья (arXiv:2611.05662v1) показывает, что оценщики Agent-as-a-Judge, использующие инструменты и обозревающие полные траектории агентов, остаются уязвимыми к предвзятости подтверждения: одна ложная предварительная заметка, приписанная авторитету, меняет до 40% верных вердиктов по четырём оценщикам и пяти наборам данных, даже когда оценщик собирает решающие доказательства. Авторы выделяют три режима отказа — чрезмерное доверие, галлюцинация и недостаточное расследование — отмечают, что у оценщиков на Claude доминирует чрезмерное доверие, и показывают, что легкие смягчающие меры уменьшают, но не устраняют предвзятость.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Статья (arXiv:2611.05662v1) показывает, что оценщики Agent-as-a-Judge, использующие инструменты и обозревающие полные траектории агентов, остаются уязвимыми к предвзятости подтверждения: одна ложная предварительная заметка, приписанная авторитету, меняет до 40% верных вердиктов по четырём оценщикам и пяти наборам данных, даже когда оценщик собирает решающие доказательства.
  2. Авторы выделяют три режима отказа — чрезмерное доверие, галлюцинация и недостаточное расследование — отмечают, что у оценщиков на Claude доминирует чрезмерное доверие, и показывают, что легкие смягчающие меры уменьшают, но не устраняют предвзятость.
  3. Поскольку многие системы оценки полагаются на Agent-as-a-Judge, результат означает, что оценщики на базе LLM могут системно вводиться в заблуждение неэвиденционными сигналами, подрывая надежность бенчмарков и оценок безопасности.

ПОЧЕМУ ЭТО ВАЖНО

Поскольку многие системы оценки полагаются на Agent-as-a-Judge, результат означает, что оценщики на базе LLM могут системно вводиться в заблуждение неэвиденционными сигналами, подрывая надежность бенчмарков и оценок безопасности.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1