ИССЛЕДОВАНИЕ · RESEARCH · #2553
Сравнение PPO и SAC для кооперативного управления движением двухрукого космического робота (arXiv:2610.32034v1)
В препринте на arXiv предложена централизованная рамочная модель RL для координатного планирования движения фиксированной базы двухрукого космического манипулятора с многоцелевой функцией вознаграждения (точность цели, выравнивание ориентации, плавность, синхронизация, предотвращение столкновений) и выполнено сравнение on-policy PPO и off-policy SAC по пяти случайным инициализациям. В симуляциях SAC существенно превосходит PPO: SAC достигает порога успеха 80% в каждом сиде (медиана 1.6M шагов среды) и показывает более высокую среднюю успешность (78.6% против 7.4%), меньшие ошибки по положению/ориентации и более плотную бимануальную синхронизацию; PPO не достигает порога в бюджете 4M шагов и демонстрирует сбойный режим «застаивания» на локальном оптимуме вознаграждения. Оба алгоритма ухудшают результаты на невиданных граничных целях, но SAC сохраняет большую часть производительности, тогда как PPO в значительной степени падает.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv предложена централизованная рамочная модель RL для координатного планирования движения фиксированной базы двухрукого космического манипулятора с многоцелевой функцией вознаграждения (точность цели, выравнивание ориентации, плавность, синхронизация, предотвращение столкновений) и выполнено сравнение on-policy PPO и off-policy SAC по пяти случайным инициализациям.
- В симуляциях SAC существенно превосходит PPO: SAC достигает порога успеха 80% в каждом сиде (медиана 1.6M шагов среды) и показывает более высокую среднюю успешность (78.6% против 7.4%), меньшие ошибки по положению/ориентации и более плотную бимануальную синхронизацию; PPO не достигает порога в бюджете 4M шагов и демонстрирует сбойный режим «застаивания» на локальном оптимуме вознаграждения.
- Оба алгоритма ухудшают результаты на невиданных граничных целях, но SAC сохраняет большую часть производительности, тогда как PPO в значительной степени падает.
ПОЧЕМУ ЭТО ВАЖНО
Работа показывает, что off-policy SAC более образцо- и устойчив в задачах ограниченного управления двухрукими космическими манипуляторами и выявляет чувствительность PPO к формированию вознаграждения — важное наблюдение для RL в задачах обслуживания на орбите и удаления обломков.