Сравнение PPO и SAC для кооперативного управления движением двухрукого космического робота (arXiv:2610.32034v1)
В препринте на arXiv предложена централизованная рамочная модель RL для координатного планирования движения фиксированной базы двухрукого космического манипулятора с многоцелевой функцией вознаграждения (точность цели, выравнивание ориентации, плавность, синхронизация, предотвращение столкновений) и выполнено сравнение on-policy PPO и off-policy SAC по пяти случайным инициализациям. В симуляциях SAC существенно превосходит PPO: SAC достигает порога успеха 80% в каждом сиде (медиана 1.6M шагов среды) и показывает более высокую среднюю успешность (78.6% против 7.4%), меньшие ошибки по положению/ориентации и более плотную бимануальную синхронизацию; PPO не достигает порога в бюджете 4M шагов и демонстрирует сбойный режим «застаивания» на локальном оптимуме вознаграждения. Оба алгоритма ухудшают результаты на невиданных граничных целях, но SAC сохраняет большую часть производительности, тогда как PPO в значительной степени падает.