GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

📄 arXiv: 2606.29705v1 📥 PDF

作者: Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao, Meng-Hao Guo, Shi-Min Hu

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-06-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出GUICrafter以解决GUI代理数据收集困难问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 GUI代理 视觉定位 课程学习 强化学习 未标注数据 跨设备泛化

📋 核心要点

  1. 现有GUI代理在数据收集上面临高成本和困难，导致跨设备泛化能力差。
  2. GUICrafter通过弱监督学习，利用大量未标注截图进行视觉定位，减少对人工标注的依赖。
  3. 实验结果显示，GUICrafter在使用极少数据的情况下，性能超过了现有的多种方法。

📝 摘要（中文）

数据作为现代智能的基本基础，极大推动了当前基础模型的发展。研究人员希望将这一范式扩展到GUI代理领域，构建强大的GUI代理。然而，GUI代理数据无法直接从互联网获取，导致收集成本高且困难。因此，现有GUI代理在跨设备泛化和细粒度GUI元素的视觉定位能力方面表现不佳。为了解决GUI代理中的数据挑战，我们提出了GUICrafter，这是一种利用大量未标注截图的弱监督GUI代理，显著减少对昂贵人工标注的依赖。GUICrafter通过两阶段的课程学习框架进行训练，首先从大规模未标注截图和网页中学习视觉定位，然后利用少量高质量数据通过强化学习对模型进行校准。实验表明，GUICrafter在仅使用0.1%数据的情况下，性能与先进系统UI-TARS相当，甚至更优。

🔬 方法详解

问题定义：本论文旨在解决GUI代理在数据收集上的高成本和困难，现有方法在跨设备泛化和细粒度视觉定位能力上存在不足。

核心思路：GUICrafter通过弱监督学习，利用大量未标注的截图和网页数据进行视觉定位，首先在无标注数据上进行训练，然后通过少量高质量数据进行校准。

技术框架：GUICrafter的训练分为两个阶段：第一阶段是从未标注数据中学习视觉定位，第二阶段是利用强化学习对模型进行校准。

关键创新：GUICrafter的创新在于其弱监督学习框架，能够有效利用未标注数据，显著减少对人工标注的依赖，与现有方法相比具有更高的效率和效果。

关键设计：在模型训练中，采用了课程学习策略，设计了适应性损失函数，以便在不同阶段优化模型性能，同时确保模型在视觉定位任务中的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GUICrafter在实验中表现出色，仅使用0.1%的数据就达到了与UI-TARS相当的性能，且在相同标注数据量下超越了所有先前方法，如GUI-R1，显示出其在数据利用效率上的显著优势。

🎯 应用场景

GUICrafter的研究成果在多个领域具有潜在应用价值，特别是在需要自动化界面交互的场景，如软件测试、用户体验优化和智能助手等。通过减少对人工标注的依赖，该方法能够加速GUI代理的开发和部署，推动相关技术的普及与应用。

📄 摘要（原文）

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.