ИССЛЕДОВАНИЕ · RESEARCH · #612
Предложен Regularized Emphatic TD (RETD) для устранения нестабильности ETD при постоянном шаге
Препринт на arXiv (arXiv:2609.19170v1) приводит эргодический двухсостоянийный контрпример, показывающий, что несмотря на сжимающее среднее поведение ETD, сэмплированные траектории могут иметь положительный верхний показатель Ляпунова, и предлагает Regularized Emphatic TD (RETD) — нормализованный постшоковый ремонт, сохраняющий эмфатический сигнал в утоняющем скалярном состоянии и выдающий отсроченную корректировку. Авторы доказывают сходимость почти наверное для гармонических убывающих шагов, получают условную оценку для постоянных шагов и подтверждают результаты экспериментами (включая точку Бэрда и 10 000 прогонов).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт на arXiv (arXiv:2609.19170v1) приводит эргодический двухсостоянийный контрпример, показывающий, что несмотря на сжимающее среднее поведение ETD, сэмплированные траектории могут иметь положительный верхний показатель Ляпунова, и предлагает Regularized Emphatic TD (RETD) — нормализованный постшоковый ремонт, сохраняющий эмфатический сигнал в утоняющем скалярном состоянии и выдающий отсроченную корректировку.
- Авторы доказывают сходимость почти наверное для гармонических убывающих шагов, получают условную оценку для постоянных шагов и подтверждают результаты экспериментами (включая точку Бэрда и 10 000 прогонов).
- Нестабильность off-policy TD при постоянном шаге влияет на практическое обучение в RL; RETD предлагает математически обоснованное исправление, меняющее постшоковые сэмплированные динамики и при определённых считываниях восстанавливающее точки равновесия ETD.
ПОЧЕМУ ЭТО ВАЖНО
Нестабильность off-policy TD при постоянном шаге влияет на практическое обучение в RL; RETD предлагает математически обоснованное исправление, меняющее постшоковые сэмплированные динамики и при определённых считываниях восстанавливающее точки равновесия ETD.