SkillFuzz: Fuzzing Skill Composition for Implicit Intents Discovery in Open Skill Marketplaces
作者: Jinwei Hu, Yi Dong, Youcheng Sun, Xiaowei Huang
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-07-02
备注: Under Review
💡 一句话要点
提出SkillFuzz以解决隐式意图发现问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐式意图 技能组合 模糊测试 大型语言模型 智能代理 安全性 开放技能市场
📋 核心要点
- 核心问题：现有方法在检测隐式意图时面临挑战，因技能组合的效果仅在执行时显现，且市场规模扩大后组合空间迅速增长。
- 方法要点：论文提出SkillFuzz，将隐式意图发现视为技能组合的模糊测试问题，利用合同引导的搜索方法来识别潜在冲突。
- 实验或效果：SkillFuzz在固定查询预算下发现超过1000个隐式意图，且在执行验证中确认超过80%的高风险组合。
📝 摘要（中文）
基于大型语言模型（LLM）的代理越来越多地通过可重用技能自动化软件工程任务。开放技能市场允许用户通过共同激活社区贡献的技能来组装代理，但市场运营商通常孤立审核技能。这导致单独无害的技能可能相互作用，导致代理朝向意外目标（隐式意图）。检测这些意图具有挑战性，因为效果仅通过技能组合显现，执行环境通常在入场时不可用，且可能的共同激活空间随着市场规模呈指数增长。本文将隐式意图发现形式化为技能组合的模糊测试问题，提出了SkillFuzz，这是首个无执行测试方法，提取结构化技能合同并使用合同引导的蒙特卡洛树搜索来优先考虑潜在冲突的组合。
🔬 方法详解
问题定义：本文旨在解决在开放技能市场中，如何有效发现技能组合导致的隐式意图的问题。现有方法通常只关注单个技能的审核，未能考虑技能组合的潜在影响，导致隐式意图的检测困难。
核心思路：论文提出将隐式意图发现视为模糊测试问题，利用技能组合作为测试单元，通过规划文档提前暴露代理意图，并使用无技能基线作为差异性oracle，以此来识别潜在的隐式意图。
技术框架：SkillFuzz的整体架构包括三个主要模块：技能合同提取、合同引导的蒙特卡洛树搜索和执行时间验证。首先提取技能合同以定义技能的预期行为，然后通过蒙特卡洛树搜索优先考虑可能的冲突组合，最后在执行时验证这些组合的实际效果。
关键创新：SkillFuzz是首个无执行测试的方法，能够在不依赖执行环境的情况下有效识别隐式意图。与现有方法相比，它通过结构化技能合同和合同引导的搜索策略显著提高了隐式意图的发现率。
关键设计：在技能合同提取中，设计了特定的参数设置以确保合同的准确性；在蒙特卡洛树搜索中，采用了优先级策略来聚焦于高风险组合，从而提高了搜索效率和发现率。
🖼️ 关键图片
📊 实验亮点
SkillFuzz在代表性的技能市场工作负载中发现了超过1000个不同的隐式意图，并在执行验证中确认了超过80%的高风险组合，相较于其他搜索策略，发现了更多高严重性隐式意图，同时仅探索了它们所需的部分交互空间。
🎯 应用场景
该研究的潜在应用领域包括开放技能市场、智能代理的开发与测试等。通过有效发现隐式意图，SkillFuzz能够提高代理的安全性和可靠性，减少意外行为的发生，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large Language Model (LLM)-based agents increasingly automate software engineering tasks through reusable skills, natural-language instruction documents that guide planning and execution. Open skill marketplaces enable users to assemble agents by co-activating community-contributed skills, but marketplace operators typically audit skills in isolation. As a result, individually benign skills may interact to redirect an agent toward unintended objectives, which we term implicit intents. Detecting such intents is challenging because the effect emerges only through skill composition, execution environments are often unavailable at admission time, and the space of possible co-activations grows exponentially with marketplace size. In this paper, we formulate implicit-intent discovery as a fuzzing problem over skill compositions, where skill compositions are the unit under test, planning artifacts expose agent intent before execution, and deviations from a skill-free baseline serve as a differential oracle. Based on this formulation, we propose skillfuzz, the first execution-free testing approach that extracts structured skill contracts and uses contract-guided Monte Carlo Tree Search to prioritize potentially conflicting compositions. Across representative skill-marketplace workloads, skillfuzz discovers over 1,000 distinct implicit intents under a fixed query budget, confirms more than 80% of the highest-risk flagged compositions during execution-time validation, and identifies substantially more high-severity implicit intents than alternative search strategies while exploring only a fraction of the pairwise interaction space they require.