Xiaomi-GUI-0 Technical Report
作者: Wanxia Cao, Chengzhen Duan, Pei Fu, Pengzhi Gao, Niu Lian, Fazhan Liu, Hui Liu, Heng Qu, Qinzhuo Wu, Zhehao Yu, Tongbo Chen, Shiqi Cui, Anan Du, Shukai Jia, Yuanfa Li, Yike Liu, Wenchao Lu, Haoyuan Sun, Jiatong Sun, Cheng Tan, Yajie Wang, Changqiao Wu, Tao Xiong, Jiahui Yang, Yuxuan Yuan, Ruoceng Zhang, Shaojie Zhang, Jian Zhu, Jian Luan, Cong Zou
分类: cs.AI
发布日期: 2026-06-30
💡 一句话要点
提出Xiaomi-GUI-0以解决真实环境下GUI代理的执行稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图形用户界面 多模态学习 真实环境 执行稳定性 强化学习 数据驱动 用户交互 智能助手
📋 核心要点
- 现有的GUI代理在真实应用中表现不佳，主要由于训练和评估依赖于离线数据和模拟环境，无法真实反映用户交互的复杂性。
- 本文提出的Xiaomi-GUI-0通过真实设备主导的混合基础设施进行训练和评估，确保数据收集和模型训练更接近真实应用场景。
- 在实验中，Xiaomi-GUI-0在RealMobile上取得72.0%的成功率，在AndroidWorld上达到78.9%，显著提升了执行稳定性和异常状态识别能力。
📝 摘要（中文）
图形用户界面（GUI）代理基于视觉-语言模型，通过点击、滑动、文本输入和导航等界面操作完成用户任务。然而，现有的GUI代理主要在离线轨迹、模拟环境和标准化基准上进行训练和评估，这与真实应用中的界面布局、交互逻辑和异常状态分布存在显著差异。为了解决这一问题，本文提出了Xiaomi-GUI-0，这是一种针对真实移动环境的原生多模态GUI代理，采用真实设备主导的混合基础设施进行训练和评估。我们构建了多源训练数据，并引入了基于错误驱动的数据飞轮，将失败轨迹转化为纠正动作和反思解释。Xiaomi-GUI-0在公共基准和内部RealMobile上评估，分别取得72.0%和78.9%的成功率，同时显著提高了执行稳定性和异常状态识别能力。
🔬 方法详解
问题定义：本文旨在解决现有GUI代理在真实环境中执行稳定性不足的问题。现有方法主要依赖于离线轨迹和模拟环境，无法有效应对真实应用中的复杂交互和异常状态。
核心思路：Xiaomi-GUI-0的核心思路是通过真实设备主导的混合基础设施进行训练和评估，确保模型在真实环境中的有效性和稳定性。通过构建多源训练数据和引入错误驱动的数据飞轮，提升模型的适应能力和反应能力。
技术框架：整体架构包括数据收集、训练、部署和评估四个主要模块。数据收集阶段涵盖高频头任务和长尾意图的数据，训练阶段采用监督微调、逐步强化学习和代理强化学习的三阶段流程。
关键创新：最重要的创新点在于引入了真实设备主导的混合基础设施和错误驱动的数据飞轮，这与现有方法的离线训练和评估模式形成了鲜明对比。
关键设计：在模型训练中，采用了多源数据集，设计了适应真实环境的损失函数和网络结构，以增强模型对异常状态的识别和处理能力。
🖼️ 关键图片
📊 实验亮点
在实验中，Xiaomi-GUI-0在RealMobile上取得72.0%的成功率，在AndroidWorld上达到78.9%。与传统方法相比，显著提高了执行稳定性和异常状态识别能力，展示了其在真实应用场景中的有效性。
🎯 应用场景
Xiaomi-GUI-0的研究成果可广泛应用于移动应用程序的自动化测试、用户交互优化和智能助手等领域。通过提升GUI代理在真实环境中的执行能力，该技术有望改善用户体验，降低开发和维护成本，推动智能设备的普及与应用。
📄 摘要（原文）
Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.