SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior
作者: Zhiyu Chen, Zihan Guo, Bo Huang, Bingwei Lu, Jianghao Lin, Yuanjian Zhou, Weinan Zhang
分类: cs.AI, cs.SE
发布日期: 2026-06-10
🔗 代码/项目: GITHUB
💡 一句话要点
提出SkillJuror框架以评估智能体技能组织对行为的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能体技能 渐进式披露 程序知识 技能评估 运行时行为 知识应用 任务成功率
📋 核心要点
- 现有方法未能有效区分智能体技能的内容与其组织方式，导致评估不够全面。
- 提出渐进式披露的概念，通过简洁的根文件动态指向支持资源，以优化智能体的技能使用。
- 实验结果显示，渐进式披露显著提高了智能体的运行时行为和任务成功率，尤其在资源指导实施时效果更佳。
📝 摘要（中文）
智能体技能在推理时增强了大型语言模型（LLM）智能体的程序知识，但现有基准很少区分技能内容与其组织方式。本文通过渐进式披露研究这一区别，提出SkillJuror框架，通过语义控制变体、匹配多次试验和轨迹证据来评估技能写作范式。在82项任务的SkillsBench研究中，渐进式披露显著提高了运行时行为，技能资源的使用频率和有效采纳事件均有显著提升，且在410次匹配试验中增加了17次验证者通过的试验。结果表明，技能组织不仅是展示方式，它能改变智能体搜索和应用程序知识的方式，且效果依赖于资源的可操作性。
🔬 方法详解
问题定义：本文旨在解决现有智能体技能评估方法未能区分技能内容与组织方式的问题，导致智能体在运行时行为的评估不够准确。
核心思路：提出渐进式披露，通过简洁的根文件动态指向支持资源，帮助智能体在推理时更有效地利用程序知识，从而改善其行为表现。
技术框架：SkillJuror框架包含多个模块，包括语义控制变体、匹配多次试验和轨迹证据收集，确保在固定任务知识的前提下进行评估。
关键创新：最重要的创新在于通过渐进式披露改变了智能体对技能资源的访问方式，提升了其在任务中的表现，与传统的平面基线方法形成鲜明对比。
关键设计：在实验中，设置了多个参数以控制技能资源的访问频率，并设计了损失函数以优化智能体在不同任务中的表现，确保评估的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，渐进式披露使得每条轨迹中接触的技能资源数量从1.18提升至3.85，有效采纳事件从1.33提升至3.92。此外，在410次匹配试验中，增加了17次验证者通过的试验，提升幅度达到4.1%。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和教育技术等，能够帮助提升智能体在复杂任务中的表现和适应能力。未来，SkillJuror框架可能推动智能体技能组织的标准化，促进更高效的知识应用与共享。
📄 摘要（原文）
Agent Skills augment large language model (LLM) agents with procedural knowledge at inference time, but current benchmarks rarely distinguish what a Skill says from how it is organized. We study this distinction through Progressive Disclosure, where a concise root file points agents to supporting resources on demand, and compare it with a normalized flat baseline. We present SkillJuror, a framework for evaluating Skill writing paradigms through semantically controlled variants, matched multi-trial evaluations, and trajectory evidence while holding task knowledge fixed. In an 82-task SkillsBench study, Progressive Disclosure changes runtime behavior before aggregate outcomes: distinct Skill resources touched per trajectory rise from 1.18 to 3.85, and effective uptake events rise from 1.33 to 3.92. It also yields 17 additional verifier-passing trials out of 410 matched trials (+4.1%) over the normalized flat baseline. The benefit is task-dependent. Progressive Disclosure helps when supporting resources guide implementation, checking, or repair, but is weaker when success hinges on exact output conventions, numerical thresholds, or long artifact-generation pipelines. These results show that Skill organization is not mere presentation: it can change how agents search and apply procedural knowledge, while outcome gains depend on whether the exposed resources are actionable for the task. Code is available at https://github.com/zhiyuchen-ai/skill-juror.