Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

📄 arXiv: 2606.27330v1 📥 PDF

作者: Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2026-06-25

备注: Accepted to ACL 2026 Main

💡 一句话要点

提出PEEU方法以解决小型MLLM任务规划能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态代理 任务规划 经验利用 自主探索 组合泛化

📋 核心要点

  1. 现有的小型开源MLLM在任务规划和跨网站泛化能力上存在显著不足，影响了其在复杂GUI任务中的应用效果。
  2. 本文提出的PEEU方法通过自主探索环境和利用事后经验，合成高层次训练数据，从而提升小型MLLM的任务规划能力。
  3. 实验结果显示，PEEU方法的7B模型在真实世界基准测试中取得30.6%的准确率，显著优于更大规模的模型，验证了其有效性。

📝 摘要（中文）

多模态网络代理可以帮助人类执行重复的GUI任务，其中有效的任务规划对于将复杂任务分解为可执行的动作至关重要。尽管小型开源MLLM在成本和隐私方面具有优势，但它们在规划能力和跨网站泛化方面存在不足。为了解决这些问题，本文提出了规划经验探索与利用（PEEU）方法，该方法能够自主探索环境以发现经验，并利用事后经验合成严格对齐的高层次训练数据。通过任务分解层次分析框架（TDHAF），我们系统研究了不同任务粒度下的组合泛化。实验结果表明，PEEU方法在真实世界基准测试中表现优越，7B模型的准确率达到30.6%，超越了更大的Qwen2.5-VL-32B模型。

🔬 方法详解

问题定义：本文旨在解决小型多模态语言模型（MLLM）在复杂GUI任务中的规划能力不足问题。现有方法在任务分解和跨网站泛化方面表现不佳，限制了其实际应用。

核心思路：PEEU方法的核心思想是通过自主探索环境来发现经验，并利用事后经验合成高层次的训练数据。这种设计旨在增强模型的任务规划能力和泛化能力。

技术框架：PEEU方法包括两个主要模块：环境探索模块和经验利用模块。环境探索模块负责自主探索并收集任务执行经验，而经验利用模块则通过合成高层次训练数据来提升模型的学习效果。

关键创新：本文的主要创新在于引入了规划经验探索与利用（PEEU）方法，强调了事后经验在高层次任务规划中的重要性。这与传统方法不同，后者往往依赖于静态的训练数据。

关键设计：在模型设计中，采用了特定的损失函数来优化任务规划的准确性，并通过层次分析框架（TDHAF）来评估模型在不同任务粒度下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PEEU方法的7B模型在真实世界基准测试中取得30.6%的准确率，显著超越了更大规模的Qwen2.5-VL-32B模型，验证了其在任务规划和泛化能力上的优势，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括自动化办公、智能客服和人机交互等场景。通过提升小型MLLM的任务规划能力，能够更好地支持用户在复杂GUI环境中的操作，提高工作效率和用户体验。未来，该方法有望在更多实际应用中推广，推动智能代理技术的发展。

📄 摘要（原文）

Multimodal web agents can assist humans in operating repetitive GUI tasks, where effective task planning is essential for decomposing complex tasks into executable actions. While small open source MLLMs are cost efficient and privacy preserving compared with commercial large models, they suffer from weak planning and limited cross website generalization. To address these limitations, we introduce the planning experience exploration and utilization (PEEU) method, which autonomously explores environments to discover experiences and utilizes hindsight experience to synthesize strictly aligned, high level training data. To quantitatively analyze the generalization behaviors driving this performance, we propose the task decomposition hierarchical analysis framework (TDHAF) to systematically study compositional generalization across three task granularities: low, middle and high levels. Our analysis reveals that mastering low level atomic skills does not guarantee high level planning competence, while high level task training yields stronger OOD generalization. Experiments on real world benchmarks demonstrate PEEU's superior effectiveness: our 7B model achieves 30.6% accuracy, outperforming the much larger Qwen2.5-VL-32B model. These demonstrate constructing hindsight high level tasks and leveraging experiences is crucial for OOD planning abilities of small MLLMs.