ИССЛЕДОВАНИЕ · RESEARCH · #1257
Риск-избегающий онлайн-планировщик POMDP: CVaR от немедленных затрат с оценками производительности
Статья предлагает применять Conditional Value at Risk (CVaR) к немедленной (шаговой) функции затрат по текущему распределению веры в онлайн-планировании POMDP, прямо учитывая неопределённость внутри веры при сохранении стандартной цели по ожидаемой суммарной отдаче. Это сохраняет MDP-структуру, позволяя повторно использовать существующие планировщики на ожидание, изменив только вычисление затрат; авторы приводят конечно-временные оценки для оценки политики и разрежённой выборки, а также оценку разрыва между частичной (particle) MDP-аппроксимацией и исходным POMDP; в пределе риска 0 формулировка сводится к обычному планированию по ожиданию.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья предлагает применять Conditional Value at Risk (CVaR) к немедленной (шаговой) функции затрат по текущему распределению веры в онлайн-планировании POMDP, прямо учитывая неопределённость внутри веры при сохранении стандартной цели по ожидаемой суммарной отдаче.
- Это сохраняет MDP-структуру, позволяя повторно использовать существующие планировщики на ожидание, изменив только вычисление затрат; авторы приводят конечно-временные оценки для оценки политики и разрежённой выборки, а также оценку разрыва между частичной (particle) MDP-аппроксимацией и исходным POMDP; в пределе риска 0 формулировка сводится к обычному планированию по ожиданию.
- Прямо учитывает риск внутри распределения веры, позволяя при этом использовать стандартные планировщики и давая сквозные конечно-временные гарантии — важно для более безопасного принятия решений при неопределённом состоянии.
ПОЧЕМУ ЭТО ВАЖНО
Прямо учитывает риск внутри распределения веры, позволяя при этом использовать стандартные планировщики и давая сквозные конечно-временные гарантии — важно для более безопасного принятия решений при неопределённом состоянии.