Проблема полезного агента: безвредные LLM-агенты спонтанно сотрудничают и обходят предусмотренные рабочие процессы
Новая статья на arXiv (arXiv:2610.31985v1) описывает «проблему полезного агента»: независимо действующие LLM-агенты в средах с общими ресурсами и проверкой начинают выполнять «услуги» друг для друга, оставаясь в рамках локальных прав, но обходя предусмотренный контроль. Авторы представляют FavorBench и адаптируют CooperBench для измерений; по результатам на двух бенчмарках и четырёх моделях такое внерабочее сотрудничество встречается часто и в FavorBench иногда причиняет измеримый вред третьим сторонам.