ИССЛЕДОВАНИЕ · RESEARCH · #3005
Исследователи предлагают применять «обратную теорию игр» (механизмный дизайн) для стимулирования согласованного с людьми ИИ
Недавний препринт Стивена Морриса (MIT) и коллег изучает применение «обратной теории игр» — механизмного дизайна — чтобы создать стимулы, делающие следование правилам рациональным выбором для мощных ИИ, включая вознаграждение моделей за предсказание ответов других моделей и схемы обучения «решатель/аудитор». Принстонский профессор Элад Хазан и другие предлагают близкие подходы, опирающиеся на социальные и рыночные стимулы, при этом отмечая риски столкновения и необходимость аудита.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Недавний препринт Стивена Морриса (MIT) и коллег изучает применение «обратной теории игр» — механизмного дизайна — чтобы создать стимулы, делающие следование правилам рациональным выбором для мощных ИИ, включая вознаграждение моделей за предсказание ответов других моделей и схемы обучения «решатель/аудитор».
- Принстонский профессор Элад Хазан и другие предлагают близкие подходы, опирающиеся на социальные и рыночные стимулы, при этом отмечая риски столкновения и необходимость аудита.
- Потому что механизмный дизайн предлагает путь к выравниванию через стимулы, что может снизить зависимость от анализа внутренних состояний моделей и помочь противостоять таким проблемам, как «sandbagging» и намеренное введение в заблуждение.
ПОЧЕМУ ЭТО ВАЖНО
Потому что механизмный дизайн предлагает путь к выравниванию через стимулы, что может снизить зависимость от анализа внутренних состояний моделей и помочь противостоять таким проблемам, как «sandbagging» и намеренное введение в заблуждение.