Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps

📄 arXiv: 2610.39264v1 📥 PDF

作者: Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio, Emmanuel Abbe

分类: cs.AI

发布日期: 2026-10-29

💡 一句话要点

提出在线密集强化学习框架以解决iOS应用UI导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线强化学习 用户界面导航 动态环境适应 规划代理 奖励信号 价值估计 移动应用

📋 核心要点

  1. 现有方法在UI导航中存在高推理成本和脆弱执行的问题，难以适应动态环境。
  2. 提出的框架通过将代理分为规划代理和UI基础模型，结合在线强化学习进行训练，提升了灵活性和稳定性。
  3. 实验结果显示，8B RL代理在Android环境的泛化能力上实现了近七倍的提升，超越了多个基线模型。

📝 摘要（中文）

尽管前沿的视觉-语言模型在用户界面（UI）导航中表现出色，但其高推理成本限制了日常使用。相对而言，通过监督微调（SFT）或离线强化学习训练的小型模型往往会记忆静态轨迹，导致执行脆弱且无法从错误中恢复。为了解决这些问题，本文提出了一种新颖的在线强化学习框架，直接在实时iOS应用上训练UI导航代理。该框架将代理解耦为两个专门组件：规划代理和UI基础模型，并依赖于大型语言模型（LLM）作为评判者提供全面的奖励信号。实验结果表明，在线强化学习训练的代理在多个基准测试中显著优于SFT和仅终端奖励的强化学习基线。

🔬 方法详解

问题定义：本文旨在解决现有UI导航方法在动态环境中的脆弱性和高推理成本问题。现有的小型模型往往依赖于静态轨迹，导致执行不稳定且难以恢复。

核心思路：提出了一种在线强化学习框架，通过将代理分为规划代理和UI基础模型，利用大型语言模型提供的奖励信号进行训练，从而提高了代理的适应性和稳定性。

技术框架：整体架构包括两个主要模块：规划代理负责决策制定，UI基础模型负责与用户界面的交互。通过PPO算法优化代理，并引入GiGPPO方法以提高价值估计的稳定性。

关键创新：最重要的创新在于引入了双重奖励结构，结合了逐步反馈和终端奖励，显著提升了训练效率和代理的执行能力。GiGPPO方法通过利用视觉相似状态的奖励信号，增强了价值估计的稳定性。

关键设计：在参数设置上，采用了PPO算法进行优化，并设计了逐步优势估计以有效利用奖励信号。网络结构上，规划代理和UI基础模型的解耦设计使得系统更具灵活性和可扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在线强化学习训练的代理在多个基准测试中显著优于SFT和仅终端奖励的强化学习基线。特别是8B RL代理在Android环境的泛化能力上实现了近七倍的提升，超越了Gemini-3.5-Flash，并与Gemini-3.1-Pro在真实iOS应用上表现持平。

🎯 应用场景

该研究的潜在应用领域包括移动应用的自动化测试、用户体验优化以及智能助手的开发。通过提升UI导航的灵活性和稳定性，可以为用户提供更流畅的交互体验，推动智能应用的普及与发展。

📄 摘要（原文）

While frontier vision-language models demonstrate strong capabilities in user interface (UI) navigation, their high inference costs prohibit everyday use. Conversely, smaller models trained via supervised fine-tuning (SFT) or offline reinforcement learning often memorize static trajectories, leading to brittle execution and an inability to recover from errors. To address these limitations, we propose a novel online reinforcement learning framework that trains UI navigation agents directly on live iOS applications. Our framework decouples the agent into two specialized components: a Planning agent and a UI Grounding model. We rely on an LLM-as-a-Judge to provide comprehensive reward signals, combining dense, step-level feedback to evaluate intermediate progress with a terminal reward for overall task completion. To effectively leverage this dual reward structure, we optimize the agent using Proximal Policy Optimization (PPO) with step-level advantage estimation. Furthermore, we introduce GiGPPO, a novel neighbor-conditioned value estimation method that improves critic stability by leveraging reward signals from visually similar states across concurrent trajectories. To support this online training paradigm at scale, we introduce an efficient infrastructure that orchestrates hundreds of concurrent virtual iOS devices. Evaluations on rigorous benchmarks, including UINavBench, iOSWorld, and AndroidWorld, demonstrate that our online RL trained agents substantially outperform both SFT and terminal-only RL baselines while accelerating training convergence. Notably, our 8B RL agents achieve nearly a sevenfold improvement over the SFT baseline in out-of-distribution generalization to Android environments, while outperforming Gemini-3.5-Flash and tying with Gemini-3.1-Pro on real iOS applications.