НОВОСТЬ · RESEARCH · #161
Обобщённая итерация агента: формальная рамка, объединяющая итеративное улучшение политик и рекурсивное самоулучшение
Этот препринт на arXiv предлагает «Обобщённую итерацию агента» (GAI) — формальную модель, описывающую обучение как цикл оценки агента и его улучшения, и рассматривает итеративное улучшение политик (GPI) и рекурсивное самоулучшение (RSI) как частные случаи в двухосной шкале (находится ли механизм улучшения внутри агента и является ли стандарт оценки внешним). Авторы размещают существующие системы в этих координатах и формулируют дефекты RSI в виде отдельных условий.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот препринт на arXiv предлагает «Обобщённую итерацию агента» (GAI) — формальную модель, описывающую обучение как цикл оценки агента и его улучшения, и рассматривает итеративное улучшение политик (GPI) и рекурсивное самоулучшение (RSI) как частные случаи в двухосной шкале (находится ли механизм улучшения внутри агента и является ли стандарт оценки внешним).
- Авторы размещают существующие системы в этих координатах и формулируют дефекты RSI в виде отдельных условий.
- Единая формальная рамка облегчает сравнение, анализ и проектирование систем, которые самизменяются или итеративно улучшаются, что важно для теоретических исследований ИИ и вопросов безопасности.
ПОЧЕМУ ЭТО ВАЖНО
Единая формальная рамка облегчает сравнение, анализ и проектирование систем, которые самизменяются или итеративно улучшаются, что важно для теоретических исследований ИИ и вопросов безопасности.