AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents

📄 arXiv: 2608.05891v1 📥 PDF

作者: Weikai Xu, Yunren Feng, Haoxiang Lei, Kun Huang, Yuxuan Liu, Kang Zhao, Xiaolin Hu, Shuo Shang, Bo An

分类: cs.AI, cs.CL

发布日期: 2026-08-06

💡 一句话要点

提出AppDeltaWorld以解决移动GUI代理的环境建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动GUI代理 环境建模 增量代码生成 长时间交互策略 自动化测试 用户体验提升

📋 核心要点

  1. 现有的移动GUI代理在获取真实交互数据方面面临挑战，尤其是在敏感应用和隐私操作中。
  2. 论文提出的AppDeltaWorld通过增量代码更新的方式来预测下一个GUI，克服了传统方法的局限性。
  3. 实验结果表明，AppDeltaWorld在多个基准测试中表现优异，尤其是在结构布局和UI元素重建方面显著优于现有方法。

📝 摘要（中文）

移动GUI代理通过像素感知和触摸操作来操作应用程序，成为收集和改进长时间移动交互策略的有前景的接口。然而，获取真实轨迹对于敏感应用和隐私关键操作来说非常困难。同时，现有的模拟环境扩展成本高，GUI世界模型在生成稳定性、模态覆盖和动作过渡逻辑一致性方面仍存在问题。为了解决这些限制，本文提出了AppDeltaWorld，一种基于过渡的增量代码世界模型，预测下一个GUI作为可达的代码更新，而不是不受限制的图像或文本描述。AppDeltaWorld在CMGUIBench-500的Code2World评估中实现了最高的保真度，相较于仅基于图像和代码的基线，在结构布局和UI元素重建上有明显提升。

🔬 方法详解

问题定义：本文旨在解决移动GUI代理在真实环境中获取交互数据的困难，现有方法在生成稳定性和动作过渡逻辑一致性方面存在不足。

核心思路：AppDeltaWorld通过将下一个GUI预测为可达的代码更新，而非简单的图像或文本描述，从而实现更高效的环境建模。

技术框架：该方法包括两个主要阶段：首先在动作过渡约束下检索特定应用的Level-1 HTML引用，然后生成Level-2可执行HTML，结合当前屏幕、动作和预测的下一个屏幕文本。

关键创新：AppDeltaWorld的核心创新在于其过渡基础的增量代码生成方法，显著提高了生成的稳定性和准确性，区别于传统的图像或代码生成方法。

关键设计：在设计中，关键参数包括动作过渡约束的设置，以及生成HTML时对当前屏幕和结构的条件化处理，确保生成的视觉资产能够准确插入到图像槽中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CMGUIBench-500的Code2World评估中，AppDeltaWorld实现了最高的保真度，相较于图像和代码基线，结构布局和UI元素重建的性能提升显著。此外，结合公共监督的闭环SFT数据构建，使得AppDeltaAgent在AndroidLens上达到了最先进的性能，并在MobileGym和MobileWorld上持续提升。

🎯 应用场景

AppDeltaWorld的研究成果可广泛应用于移动应用程序的自动化测试、用户交互模拟和智能助手等领域。通过提高移动GUI代理的交互策略效率，该技术有潜力推动智能手机和其他移动设备的用户体验提升，未来可能在智能家居、车载系统等场景中发挥重要作用。

📄 摘要（原文）

Mobile GUI agents can operate apps through pixel perception and touch actions, making them a promising interface for collecting and improving long-horizon mobile interaction policies. However, real trajectories are difficult to obtain for sensitive apps and privacy-critical operations. At the same time, existing simulated environments are costly to scale up, and GUI world models still suffer from unstable generation, limited modality coverage, and inconsistent action-transition logic. To address these limitations, we propose AppDeltaWorld, a transition-grounded delta code world model that predicts the next GUI as a reachable code update rather than as an unconstrained image or text description. AppDeltaWorld retrieves app-specific Level-1 HTML references under an action-transition constraint, generates Level-2 executable HTML conditioned on the current screen, action, predicted next-screen text, and retrieved structure, and inserts generated visual assets into image slots before browser rendering. As a world model, AppDeltaWorld achieves the highest fidelity on CMGUIBench-500 under Code2World evaluation, with clear gains in structural layout and UI element reconstruction over image-only and code-only baselines. As a training environment, AppDeltaWorld supports filtered closed-loop SFT data construction that, when combined with public supervision, enables AppDeltaAgent to achieve state-of-the-art performance on AndroidLens and consistent gains on MobileGym and MobileWorld. Moreover, world-model-based test-time reinforcement learning enables policy adaptation and shows further improvements without additional interaction with real apps.