Grounded but Not Immune: предвзятость подтверждения у оценщиков-Agent-as-a-Judge (arXiv:2611.05662v1)
Статья (arXiv:2611.05662v1) показывает, что оценщики Agent-as-a-Judge, использующие инструменты и обозревающие полные траектории агентов, остаются уязвимыми к предвзятости подтверждения: одна ложная предварительная заметка, приписанная авторитету, меняет до 40% верных вердиктов по четырём оценщикам и пяти наборам данных, даже когда оценщик собирает решающие доказательства. Авторы выделяют три режима отказа — чрезмерное доверие, галлюцинация и недостаточное расследование — отмечают, что у оценщиков на Claude доминирует чрезмерное доверие, и показывают, что легкие смягчающие меры уменьшают, но не устраняют предвзятость.