Skill-Guided Continuation Distillation for GUI Agents
作者: Zhimin Fan, Hongwei Yu, Yeqing Shen, Haolong Yan, Guozhen Peng, Tianhao Peng, Yudong Zhang, Xiaowen Zhang, Kaijun Tan, Zheng Ge, Xiangyu Zhang, Daxin Jiang
分类: cs.AI
发布日期: 2026-06-17
💡 一句话要点
提出技能引导的延续蒸馏方法以解决GUI代理的监督缺口问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 技能引导 延续蒸馏 GUI代理 行为克隆 轨迹外状态 自我改进 监督学习
📋 核心要点
- 现有方法在处理政策引起的轨迹外状态时缺乏有效监督，导致策略无法做出正确决策。
- 提出的SGCD框架通过技能引导的方式，从轨迹外状态中获取有效的监督信息，促进策略自我改进。
- 实验结果表明，SGCD显著提高了三种基础模型的成功率，验证了其有效性和广泛适用性。
📝 摘要（中文）
提升GUI代理的性能通常依赖于对专家轨迹的行为克隆。然而，当前策略一旦偏离专家策略，就会在闭环执行中遇到政策引起的轨迹外状态，这些状态缺乏有效监督，导致策略无法选择正确的动作。为了解决这一监督缺口，本文提出了技能引导的延续蒸馏（SGCD）框架。SGCD首先在没有技能指导的情况下运行基础策略，达到现实的轨迹外状态。然后，从这些状态出发，技能引导的策略完成任务并产生成功的延续，混合专家轨迹以提供对政策引起的轨迹外状态的监督。在OSWorld-Verified上，SGCD将三个基础模型的成功率从低30%提升至50%以上，展示了其有效性和通用性。
🔬 方法详解
问题定义：本文旨在解决在闭环执行中，策略偏离专家轨迹后遇到的轨迹外状态缺乏监督的问题。现有方法无法有效处理这些未见状态，导致策略性能下降。
核心思路：SGCD框架的核心思路是通过技能引导的方式，从轨迹外状态中提取有效的监督信息。通过先运行基础策略到达轨迹外状态，再利用技能引导策略进行任务完成，从而弥补监督的不足。
技术框架：SGCD的整体架构包括两个主要阶段：第一阶段是基础策略的运行，获取轨迹外状态；第二阶段是技能引导策略的应用，从这些状态中生成成功的任务延续，并与专家轨迹结合提供监督。
关键创新：SGCD的创新点在于通过技能引导的方式，利用成功和失败的回合提取技能信息，形成有效的监督机制。这一方法与传统的行为克隆方法本质上不同，后者仅依赖于专家轨迹。
关键设计：在SGCD中，技能提取包括延续计划、关键目标、失败陷阱和成功标准等，确保从多种回合中获取全面的技能信息。此外，损失函数设计上考虑了轨迹外状态的特殊性，以优化策略学习。
🖼️ 关键图片
📊 实验亮点
在OSWorld-Verified实验中，SGCD显著提升了三种基础模型的成功率，从低30%范围提高到超过50%。这一结果表明SGCD在处理轨迹外状态时的有效性，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括自动化用户界面（GUI）代理、智能助手和机器人控制等。通过提升代理在复杂环境中的决策能力，SGCD能够为实际应用提供更高的成功率和可靠性，推动智能系统的广泛应用与发展。
📄 摘要（原文）
Improving GUI agents typically relies on behavior cloning on expert trajectories. However, as the current policy deviates from the expert policy, it inevitably encounters policy-induced off-trajectory states during closed-loop execution, i.e., states that fall outside the expert trajectories. Since expert trajectories provide no demonstrations for these unseen states, such states receive no effective supervision, leaving the policy unable to select the correct action. To close this supervision gap, we propose Skill-Guided Continuation Distillation (SGCD), an iterative self-improvement framework. SGCD first runs the plain policy without skill guidance for a few steps to reach realistic off-trajectory states. From these states, a skill-guided policy then completes the task and produces successful continuations, which are mixed with expert trajectories to supply supervision over policy-induced off-trajectory states. The skills are extracted from both successful and failed rollouts, consisting of Continuation Plans, Critical Targets, Failure Traps, and Success Criteria. On OSWorld-Verified, SGCD improves the success rate of three base models from the low-30\% range to over 50\%, demonstrating its effectiveness and generality.