Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns
作者: Shiqi He, Yue Cui, Feijie Wu, Xinyu Ma, Jiaheng Lu, Yaliang Li, Bolin Ding, Mosharaf Chowdhury
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-16
💡 一句话要点
提出SkillMigrator以提升网页技能重用效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网页技能重用 大型语言模型 交互模式 布局匹配 自动化工具
📋 核心要点
- 现有的网页技能库主要依赖指令相似性或粗略的站点元数据，导致在未见站点上的技能重用率低。
- SkillMigrator通过匹配页面布局结构，学习可重用的网页技能，并将其存储为可转移交互模式（TIP）。
- 实验结果表明，SkillMigrator在WebArena和Mind2Web上成功轨迹的平均LLM动作数量减少了8-10%。
📝 摘要（中文）
大型语言模型（LLM）网页代理通常作为工具调用者进行部署，每次操作读取新的页面观察并发出一个结构化的工具动作。现有方法中，低级原语的调用数量迅速增加，导致延迟和成本上升。为了解决这一问题，SkillMigrator通过匹配布局结构而非具体元素引用，学习可重用的网页技能，并将其转移到不同网站。每个技能以可转移交互模式（TIP）存储，能够在测试时根据布局相似性检索。与现有方法相比，SkillMigrator在WebArena和Mind2Web上成功轨迹的平均LLM动作数量减少了8-10%。
🔬 方法详解
问题定义：本论文旨在解决现有网页技能重用效率低下的问题。当前方法主要依赖于指令相似性和粗略的站点元数据，导致在新站点上的技能重用率不高，增加了操作的延迟和成本。
核心思路：SkillMigrator的核心思路是通过匹配网页的布局结构来学习和转移可重用的网页技能，而不是依赖具体的元素引用。这种设计使得技能能够在不同网站之间更有效地重用。
技术框架：SkillMigrator的整体架构包括几个主要模块：首先是通过观察网页的可访问性快照来获取稳定的引用；其次是通过布局相似性检索可转移交互模式（TIP）；最后是进行工具调用，包括原语和技能调用。
关键创新：SkillMigrator的最大创新在于其通过布局结构匹配来实现技能的重用，这与现有方法的依赖具体元素引用的方式有本质区别。
关键设计：在技术细节上，SkillMigrator使用了稳定的可访问性快照作为输入，并设计了固定的工具调用机制，以确保在不同网站上的技能调用一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SkillMigrator在WebArena和Mind2Web上成功轨迹的平均LLM动作数量减少了8-10%，在保持成功率的同时显著提升了操作效率。这一成果表明，SkillMigrator在技能重用方面的有效性，超越了现有的最先进方法。
🎯 应用场景
该研究的潜在应用领域包括网页自动化、智能助手和信息检索等。通过提升网页技能的重用效率，SkillMigrator能够显著降低操作成本和延迟，推动智能代理在复杂网页环境中的应用。未来，该技术有望在多种在线服务中得到广泛应用，提升用户体验。
📄 摘要（原文）
Large language model (LLM) web agents are usually deployed as tool callers: each turn, the model reads a fresh page observation and emits one structured tool action. When every action is a low-level primitive, horizons grow quickly and so do policy-facing LLM completions, dominating latency and cost on benchmarks such as Mind2Web and WebArena. Recent systems therefore wrap repeated interaction fragments as web skills: callable tools built from successful trajectories or induced programs, so one call can replace several primitives. However, prior skill libraries are still triggered mainly by instruction similarity or coarse site metadata, which yields low skill reuse on held-out sites and leaves much of the potential step and token reduction on the table. We present SkillMigrator, an agent that learns reusable web skills and transfers them across sites by matching layout structure rather than specific element references. Each induced skill is stored as a transferable interaction pattern (TIP): the skill paired with a structural sketch of the snapshot at induction time. At test time, SkillMigrator retrieves TIPs by layout similarity and grounds their references on the live page. The rest of the stack is standard: accessibility-snapshot observations with stable references, and fixed tool calling over primitives plus skill invocations. Compared with the state-of-the-art approaches, SkillMigrator reduces the average LLM-action count on successful trajectories by 8-10% across both WebArena and Mind2Web at matched success rate.