ИССЛЕДОВАНИЕ · RESEARCH · #2925
Онлайн-RL с Planning‑Grounding агентом и GiGPPO улучшает навигацию по UI в реальных iOS‑приложениях
В работе предложена онлайн‑RL система, которая обучает раздельный Planning‑агент и модель локализации UI прямо на живых iOS‑приложениях, используя LLM‑«судью» для плотных пошаговых и итоговых наград и оптимизацию через PPO с новым соседне‑обусловленным критиком GiGPPO. Тесты на UINavBench, iOSWorld и AndroidWorld показывают, что 8B RL‑агенты авторов существенно превосходят SFT и терминальные RL‑базовые методы, дают примерно 7× лучшее OOD обобщение на Android и обгоняют/соперничают с крупными VLM (опережая Gemini‑3.5‑Flash и сравниваясь с Gemini‑3.1‑Pro) на реальных iOS‑задачах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложена онлайн‑RL система, которая обучает раздельный Planning‑агент и модель локализации UI прямо на живых iOS‑приложениях, используя LLM‑«судью» для плотных пошаговых и итоговых наград и оптимизацию через PPO с новым соседне‑обусловленным критиком GiGPPO.
- Тесты на UINavBench, iOSWorld и AndroidWorld показывают, что 8B RL‑агенты авторов существенно превосходят SFT и терминальные RL‑базовые методы, дают примерно 7× лучшее OOD обобщение на Android и обгоняют/соперничают с крупными VLM (опережая Gemini‑3.5‑Flash и сравниваясь с Gemini‑3.1‑Pro) на реальных iOS‑задачах.
- Онлайн‑обучение на живых приложениях с плотными наградами от LLM и критиком GiGPPO повышает надёжность и кроссплатформенное обобщение, решая проблемы стоимости и хрупкости больших VLM и офлайн‑обученных агентов.
ПОЧЕМУ ЭТО ВАЖНО
Онлайн‑обучение на живых приложениях с плотными наградами от LLM и критиком GiGPPO повышает надёжность и кроссплатформенное обобщение, решая проблемы стоимости и хрупкости больших VLM и офлайн‑обученных агентов.