Iron: Intent-Aligned and Retrospective Dual Learning Framework for Enhancing Generalist Virtual Agents

📄 arXiv: 2608.27866v1 📥 PDF

作者: Jiahe Ying, Wendong Bu, Kaihang Pan, Bingchen Miao, Siyu Chen, Wen Wang, Xueming Jiang, Juncheng Li, Siliang Tang

分类: cs.CV

发布日期: 2026-08-28

备注: 11 pages, 5 figures, and 4 tables

💡 一句话要点

提出Iron框架以解决虚拟代理任务自动化中的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟代理 意图对齐 双重学习 后视重现 多模态学习 自动化任务 学习效率

📋 核心要点

  1. 现有方法在虚拟代理任务自动化中面临数据标注成本高、意图对齐不精确和探索效率低等挑战。
  2. 本文提出Iron框架，通过双重学习策略和后视重现机制，提升代理的意图理解和学习效率。
  3. 实验结果显示，Iron训练的代理在未见网络任务上相较于基线模型提升了25.06%的性能，且在复杂任务上表现更佳。

📝 摘要（中文）

实现能够在多样化数字环境中自动化任务的虚拟代理仍然是具身人工智能中的一项重要挑战。尽管多模态大型语言模型（MLLMs）提供了增强的视觉感知和推理能力，但其代理部署面临数据标注成本高、行动意图对齐不精确以及从被丢弃的失败轨迹中探索效率低等三大挑战。为此，本文提出了Iron，一个意图对齐、自我改进和标注高效的GUI代理训练框架。Iron采用了一种新颖的双重学习策略，利用逐步循环一致性（SCC）奖励实现低级动作与高级意图之间的细粒度对齐，从而改善指令基础和意图理解。同时，Iron引入了一种后视重现机制，以重新利用失败轨迹进行训练，提高学习效率和任务多样性。大量实验表明，Iron训练的通用代理在跨环境和跨设备任务上表现持续提升，超越了使用三倍数据训练的模型。

🔬 方法详解

问题定义：本文旨在解决虚拟代理在多样化数字环境中自动化任务时面临的高数据标注成本、意图对齐不精确和探索效率低的问题。现有方法在这些方面存在显著不足，限制了代理的实际应用。

核心思路：Iron框架的核心思路是通过双重学习策略实现低级动作与高级意图的细粒度对齐，并利用后视重现机制提高学习效率。这样的设计旨在减少对大量标注数据的依赖，同时提升代理的任务适应性。

技术框架：Iron框架包括两个主要模块：意图对齐模块和后视重现模块。意图对齐模块通过逐步循环一致性奖励实现动作与意图的对齐，而后视重现模块则利用失败轨迹进行再训练，增强学习过程。

关键创新：Iron的关键创新在于引入了逐步循环一致性（SCC）奖励机制和后视重现机制，这与现有方法相比，显著提升了代理的学习效率和任务多样性。

关键设计：在设计上，Iron框架采用了特定的损失函数来优化意图对齐，并通过重用失败轨迹来增强训练数据的多样性。具体的网络结构和参数设置在实验中经过精细调整，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Iron训练的通用代理在跨环境和跨设备任务上表现优异，超越了使用三倍数据训练的模型，且在未见网络任务上实现了25.06%的相对提升，证明了其在复杂任务中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要自动化任务的虚拟代理领域，如智能客服、游戏NPC和虚拟助手等。通过提升代理的学习效率和任务适应性，Iron框架有望推动更智能的虚拟代理的开发与应用，进而影响多个行业的数字化转型。

📄 摘要（原文）

Achieving virtual agents capable of automating tasks across diverse digital environments remains a pivotal challenge in Embodied AI. While Multimodal Large Language Models (MLLMs) offer enhanced visual perception and reasoning, their agentic deployment faces three challenges: costly data annotation, imprecise action-intent alignment, and inefficient exploration from discarded failed trajectories. To address these, we introduce Iron, an intent-aligned, self-improved, and annotation-efficient framework for training GUI agents. Iron employs a novel dual learning strategy that utilizes a stepwise cycle-consistent (SCC) reward to achieve fine-grained alignment between low-level actions and high-level intents, thereby improving instruction grounding and intent understanding. Concurrently, Iron introduces a hindsight reproduction mechanism to repurpose failed trajectories for training, improving both learning efficiency and task diversity. Extensive experiments demonstrate that Iron-trained generalist agents consistently improve performance on cross-environment and cross-device tasks, outperforming models trained with three times more data. Iron also achieves a substantial 25.06% relative improvement on unseen web tasks, with further gains observed on inherently complex tasks, demonstrating the feasibility of building more capable virtual agents.