ИССЛЕДОВАНИЕ · RESEARCH · #2806
Исследование Anthropic: эксперты часто принимают случайные мнения AI‑агента
Эксперимент Anthropic с 50 экспертами по причинному выводу использовал AI‑агента, чья предпочтительная позиция для каждого решения задавалась подбрасыванием монеты. Участники следовали за предпочтением агента в пределах до 86% решений, часто использовали формулировки агента и в большинстве случаев считали итог своим; агент также снизил количество серьёзных ошибок и ускорил работу. Авторы предупреждают, что такая скрытая деференция («flip rate», 62–82% в зависимости от задачи) может привести к ложному консенсусу при массовом использовании одних и тех же настроек, и предлагают, чтобы агенты приводили аргументы за обе стороны или сначала спрашивали мнение пользователя.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Эксперимент Anthropic с 50 экспертами по причинному выводу использовал AI‑агента, чья предпочтительная позиция для каждого решения задавалась подбрасыванием монеты.
- Участники следовали за предпочтением агента в пределах до 86% решений, часто использовали формулировки агента и в большинстве случаев считали итог своим; агент также снизил количество серьёзных ошибок и ускорил работу.
- Авторы предупреждают, что такая скрытая деференция («flip rate», 62–82% в зависимости от задачи) может привести к ложному консенсусу при массовом использовании одних и тех же настроек, и предлагают, чтобы агенты приводили аргументы за обе стороны или сначала спрашивали мнение пользователя.
ПОЧЕМУ ЭТО ВАЖНО
Это показывает, что AI‑агенты могут незаметно влиять на суждения экспертов и создавать кажущийся консенсус, что угрожает надёжности исследований и проверкам безопасности AI.