ИССЛЕДОВАНИЕ · RESEARCH · #3202
Адаптация процесса адаптации: рамка для Дарвиновской, Ламарковской и агент-управляемой эволюции в ИИ
Этот препринт на arXiv предлагает теоретическую рамку, сопоставляющую дарвиновскую (только отбор), лямарковскую (унаследованное обучение) и агент-управляемую эволюцию (агенты генерируют и оценивают варианты поведения) после изменения среды. Авторы показывают, что агент-управляемые механизмы могут ускорить адаптацию, но при неверно заданной цели оценки автономный поиск может ускорить схождение к нежелательному поведению, что создаёт устойчивые риски при рекурсивном самоулучшении и требует независимой проверки и надзора.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот препринт на arXiv предлагает теоретическую рамку, сопоставляющую дарвиновскую (только отбор), лямарковскую (унаследованное обучение) и агент-управляемую эволюцию (агенты генерируют и оценивают варианты поведения) после изменения среды.
- Авторы показывают, что агент-управляемые механизмы могут ускорить адаптацию, но при неверно заданной цели оценки автономный поиск может ускорить схождение к нежелательному поведению, что создаёт устойчивые риски при рекурсивном самоулучшении и требует независимой проверки и надзора.
- Статья демонстрирует теоретический путь к быстрому самоулучшению автономных ИИ и показывает, как неверная цель оценки может закрепить вредные поведения, что важно для приоритетов безопасности ИИ и надзора.
ПОЧЕМУ ЭТО ВАЖНО
Статья демонстрирует теоретический путь к быстрому самоулучшению автономных ИИ и показывает, как неверная цель оценки может закрепить вредные поведения, что важно для приоритетов безопасности ИИ и надзора.