ИССЛЕДОВАНИЕ · RESEARCH · #930
CAVEAT: бенчмарк показывает, как рыночное «направление» нарушает принятие решений агентами от лица пользователя
В статье на arXiv (arXiv:2609.27273v1) представлен CAVEAT — контролируемый бенчмарк из девяти рыночных сред и таксономии из восьми механизмов «направления», проверяющий, сохраняют ли агенты, действующие от лица пользователей, пользовательские цели при несовпадающих стимулах среды. В пяти семейств моделeй агенты выбирали оптимальный для пользователя товар в 78,6% совпадающих контрольных эпизодов, но только в 17,3% при включённых механизмах направления; авторы выделяют три точки появления влияния направления и предлагают CAVEAT-Harness, повышающий долю пользовательско-оптимальных покупок на 55,0%, а таргетный допотренинг даёт дополнительные улучшения для меньшей открытой модели.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv (arXiv:2609.27273v1) представлен CAVEAT — контролируемый бенчмарк из девяти рыночных сред и таксономии из восьми механизмов «направления», проверяющий, сохраняют ли агенты, действующие от лица пользователей, пользовательские цели при несовпадающих стимулах среды.
- В пяти семейств моделeй агенты выбирали оптимальный для пользователя товар в 78,6% совпадающих контрольных эпизодов, но только в 17,3% при включённых механизмах направления; авторы выделяют три точки появления влияния направления и предлагают CAVEAT-Harness, повышающий долю пользовательско-оптимальных покупок на 55,0%, а таргетный допотренинг даёт дополнительные улучшения для меньшей открытой модели.
- Статья выделяет «устойчивость к стимулам» как отдельную проблему делегированных агентов, демонстрирует количественные доказательства серьёзного влияния рыночного направления на выборы агентов и показывает, что целевые меры могут существенно повысить соответствие решениям пользователя.
ПОЧЕМУ ЭТО ВАЖНО
Статья выделяет «устойчивость к стимулам» как отдельную проблему делегированных агентов, демонстрирует количественные доказательства серьёзного влияния рыночного направления на выборы агентов и показывает, что целевые меры могут существенно повысить соответствие решениям пользователя.