REVERSAL-BENCH: бенчмарк и reset-oracle выявляют «клин» нереверсивности в RL без внешних сбросов
REVERSAL-BENCH — новый бенчмарк, который управляет свойством обратимости среды с помощью непрерывного параметра ρ ∈ [0,1] и предоставляет reset-oracle и большой мультисимуляционный датасет (восемь задач манипуляции в пяти физических движках) с метками восстанавливаемости. Оценки стандартных актор-критик алгоритмов, safe RL и фреймворков без внешних сбросов показывают резкий «клин нереверсивности»: по мере роста нереверсивности агенты без сбросов оказываются в невосстанавливаемых состояниях (обучение останавливается), в то время как эпизодические агенты продолжают учиться; исследователи публикуют бенчмарк, датасет и проверяют «safety shield», который предсказывает восстанавливаемость, но активно восстановить чаще получается только при возможности физически объехать ловушку.