SkillFuzz: Fuzzing Skill Composition for Implicit Intents Discovery in Open Skill Marketplaces
作者: Jinwei Hu, Yi Dong, Youcheng Sun, Xiaowei Huang
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-07-05
💡 一句话要点
提出SkillFuzz以解决隐式意图发现问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐式意图 技能组合 模糊测试 蒙特卡洛树搜索 软件工程自动化 智能代理 开放技能市场
📋 核心要点
- 现有方法在检测隐式意图时面临挑战，因技能组合的效果仅在执行时显现，且市场规模扩大使得可能的组合数量呈指数增长。
- 论文提出SkillFuzz，将隐式意图发现视为技能组合的模糊测试问题，采用无执行测试方法，通过结构化技能合同和蒙特卡洛树搜索来识别潜在冲突。
- 实验结果显示，SkillFuzz在固定查询预算下发现了超过1000个隐式意图，并在执行验证中确认了80%以上的高风险组合，显著优于其他搜索策略。
📝 摘要（中文）
基于大型语言模型的代理越来越多地通过可重用技能自动化软件工程任务，开放技能市场使用户能够通过共同激活社区贡献的技能来组装代理。然而，市场运营商通常孤立审核技能，导致单独无害的技能可能相互作用，转向意想不到的目标，即隐式意图。检测这些意图的挑战在于，效果仅通过技能组合显现，执行环境在入场时通常不可用，且可能的共同激活空间随着市场规模呈指数增长。本文将隐式意图发现形式化为技能组合的模糊测试问题，提出了SkillFuzz，这是首个无执行测试方法，通过提取结构化技能合同并使用合同引导的蒙特卡洛树搜索来优先考虑潜在冲突的组合。SkillFuzz在代表性的技能市场工作负载中发现了超过1000个不同的隐式意图，并在执行时验证中确认了超过80%的高风险标记组合。
🔬 方法详解
问题定义：本文旨在解决开放技能市场中隐式意图的发现问题。现有方法通常孤立审核技能，导致潜在的技能组合在执行时可能产生意想不到的效果，难以检测。
核心思路：论文的核心思路是将隐式意图发现形式化为技能组合的模糊测试问题，通过无执行的方式进行测试，利用技能合同和规划文档来推测代理意图。
技术框架：整体架构包括三个主要模块：技能合同提取、合同引导的蒙特卡洛树搜索和执行时验证。首先提取技能合同，然后通过搜索算法优先考虑可能的冲突组合，最后在执行时进行验证。
关键创新：SkillFuzz的主要创新在于其无执行测试方法，能够在不依赖执行环境的情况下识别隐式意图，这与传统方法依赖于执行的方式有本质区别。
关键设计：在技能合同提取中，设计了结构化的合同格式，确保信息的完整性和可用性；蒙特卡洛树搜索的参数设置经过优化，以提高搜索效率和准确性。整个流程中，损失函数的设计旨在最大化发现高风险组合的概率。
🖼️ 关键图片
📊 实验亮点
SkillFuzz在实验中发现了超过1000个隐式意图，并在执行时验证中确认了超过80%的高风险组合，相较于其他搜索策略，能够识别出更多高严重性隐式意图，同时仅探索了其所需的部分交互空间，显示出显著的效率提升。
🎯 应用场景
该研究的潜在应用领域包括软件工程自动化、智能代理的安全性分析以及开放技能市场的质量控制。通过有效识别隐式意图，能够提升代理的安全性和可靠性，减少意外行为的发生，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large Language Model (LLM)-based agents increasingly automate software engineering tasks through reusable skills, natural-language instruction documents that guide planning and execution. Open skill marketplaces enable users to assemble agents by co-activating community-contributed skills, but marketplace operators typically audit skills in isolation. As a result, individually benign skills may interact to redirect an agent toward unintended objectives, which we term implicit intents. Detecting such intents is challenging because the effect emerges only through skill composition, execution environments are often unavailable at admission time, and the space of possible co-activations grows exponentially with marketplace size. In this paper, we formulate implicit-intent discovery as a fuzzing problem over skill compositions, where skill compositions are the unit under test, planning artifacts expose agent intent before execution, and deviations from a skill-free baseline serve as a differential oracle. Based on this formulation, we propose skillfuzz, the first execution-free testing approach that extracts structured skill contracts and uses contract-guided Monte Carlo Tree Search to prioritize potentially conflicting compositions. Across representative skill-marketplace workloads, skillfuzz discovers over 1,000 distinct implicit intents under a fixed query budget, confirms more than 80% of the highest-risk flagged compositions during execution-time validation, and identifies substantially more high-severity implicit intents than alternative search strategies while exploring only a fraction of the pairwise interaction space they require.