From Local Skills to Long-Horizon Web Tasks: Progressive Skill Exploration for LLM Web Agents
作者: Xueyang Feng, Xiaohe Bo, Xu Chen, Quanyu Dai, Feng Wen
分类: cs.AI
发布日期: 2026-11-02
备注: 31 pages, 9 figures. Accepted at NeurIPS 2026
💡 一句话要点
提出SCOPE框架以解决长时间Web任务的探索问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务 自主代理 技能组合 Web环境 探索效率 在线蒸馏 机器学习
📋 核心要点
- 现有方法在Web任务中面临成功轨迹稀少和反馈稀疏的问题，导致训练效果不佳。
- 提出的SCOPE框架通过局部技能的逐步探索，逐渐构建复杂任务的解决能力，提升了学习效率。
- 实验结果显示，SCOPE在多个Web环境中相较于最强基线实现了3.9%到18.6%的性能提升。
📝 摘要（中文）
大型语言模型（LLMs）正在推动自主代理进入现实世界环境，Web成为最具代表性的交互场景之一。然而，使用简单探索训练Web代理面临挑战：成功轨迹稀少，稀疏的终端奖励使得代理难以从失败轨迹中获得有用反馈。受技能获取理论启发，本文提出了技能组合渐进探索（SCOPE），这是一个短到长的学习框架，将复杂任务探索分解为从局部技能到完整任务解决能力的逐步扩展过程。SCOPE通过局部技能周围的迭代探索，提取可重用的局部技能和历史回放中的失败经验，组合技能形成高层技能链，并利用与当前技能链对齐的失败经验指导代理探索新的子技能。通过这一过程，SCOPE逐步构建任务完成的技能链，并通过代理的在线蒸馏将其内化为策略参数。大量在WebArena、WebVoyager和WebShop上的实验表明，SCOPE在探索动态上持续改善，并在每个设置中相对于最强基线实现了3.9%到18.6%的相对增益。
🔬 方法详解
问题定义：本文旨在解决Web任务中自主代理的探索效率低下问题。现有方法在面对稀疏奖励和成功轨迹稀少的情况下，难以有效学习和优化策略。
核心思路：SCOPE框架通过将复杂任务分解为局部技能的逐步探索，逐渐提升代理的任务解决能力。这种设计灵感来源于技能获取理论，强调从简单到复杂的学习过程。
技术框架：SCOPE的整体架构包括三个主要模块：技能发现（Skill Discovery）、技能编排（Skill Orchestration）和技能扩展（Skill Expansion）。技能发现提取历史回放中的局部技能和失败经验，技能编排将这些技能组合成高层技能链，而技能扩展则利用失败经验指导代理探索新的子技能。
关键创新：SCOPE的主要创新在于其渐进式的技能组合探索方法，与传统的全局探索方法相比，更加高效且具有针对性。通过局部技能的逐步积累，SCOPE能够更好地应对复杂任务的挑战。
关键设计：在SCOPE中，关键的参数设置包括技能链的长度、失败经验的选择策略以及在线蒸馏的具体实现方式。这些设计确保了代理能够在探索过程中有效地内化所学技能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SCOPE在WebArena、WebVoyager和WebShop等多个环境中，均实现了3.9%到18.6%的相对性能提升，显著优于现有最强基线，验证了其在复杂任务探索中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括自动化Web任务执行、智能搜索引擎优化和在线服务自动化等。通过提升自主代理在复杂Web环境中的任务完成能力，SCOPE框架有望在实际应用中显著提高效率，降低人工干预需求，推动智能代理技术的发展。
📄 摘要（原文）
Large language models (LLMs) are driving autonomous agents toward real-world environments, with the Web emerging as one of the most representative interaction scenarios. However, training Web agents with naive exploration remains challenging: successful trajectories are rare, and the sparse terminal rewards make it difficult for agents to obtain useful feedback from failed trajectories. Inspired by skill acquisition theory, we propose Skill-Composed Progressive Exploration (SCOPE), a short-to-long learning framework for long-horizon Web agents that decomposes complex task exploration into a gradual expansion process from local skills to complete task-solving capability. Specifically, SCOPE iteratively explores around local skills: Skill Discovery extracts reusable local skills and failure experiences from historical rollouts; Skill Orchestration composes discovered skills into high-level skill chains; and Skill Expansion leverages failure experiences aligned with the current skill chain to guide the agent toward exploring new subskills. Through this process, SCOPE progressively constructs task-completing skill chains across rollouts and internalizes them into the policy parameters through agentic on-policy distillation. Extensive experiments on WebArena, WebVoyager, and WebShop show that SCOPE consistently improves exploration dynamics and achieves 3.9% to 18.6% relative gains over the strongest baselines in each setting.