Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?
作者: Jinyi Han, Yuanjian Xu, Ying Liao, Xinyi Wang, Zishang Jiang, Zixiang Di, Fanyang Lu, Zhichao Hu, Yanghua Xiao
分类: cs.CL
发布日期: 2026-08-05
💡 一句话要点
提出Skill-Use基准以评估LLM在技能应用中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 技能应用 自主识别 评估基准 智能代理 任务执行
📋 核心要点
- 现有方法未能有效评估LLM代理在自主识别和应用技能方面的能力，导致技能使用的可靠性不足。
- 论文提出Skill-Use基准，通过渐进式披露评估技能使用，分离触发、合规和边界三个方面，提供更全面的评估。
- 实验结果显示，尽管进行了多种配置测试，最强的LLM配置在Skill-Use基准下的SU分数仅为0.613，表明技能使用仍存在显著瓶颈。
📝 摘要（中文）
大型语言模型（LLM）代理越来越依赖技能，这些技能是结构化文档，规定了何时行动、遵循何种程序以及允许使用哪些工具。现有评估主要判断技能的质量或其对任务成功的贡献，而未考察代理是否能够自主识别相关技能并应用。我们引入Skill-Use基准，评估在渐进式披露下的技能使用，代理仅看到技能名称和简短描述，必须检索完整程序后才能执行。Skill-Use分离了技能使用的三个方面：触发、合规和边界。通过对79个真实技能和177个可执行任务的评估，我们发现可靠的技能使用仍然难以实现，最强配置的SU分数仅为0.613。
🔬 方法详解
问题定义：论文旨在解决现有评估方法未能考察LLM代理在自主识别和应用技能方面的能力，导致技能使用的可靠性不足。
核心思路：通过引入Skill-Use基准，论文设计了一种渐进式披露的评估方式，代理在仅看到技能名称和简短描述的情况下，必须检索完整程序后才能执行，从而全面评估技能使用能力。
技术框架：Skill-Use基准包括三个主要模块：触发（判断代理是否调用相关技能）、合规（评估代理遵循程序的程度）和边界（检测代理是否避免禁用操作）。每个模块通过具体的评分标准进行评估。
关键创新：最重要的技术创新在于Skill-Use基准的设计，它不仅评估技能的质量，还考察代理的自主能力，突破了以往仅关注技能贡献的局限。
关键设计：在评估过程中，Skill-Use结合79个真实技能与177个可执行任务，所有任务均基于真实文件，并在隔离的Docker沙箱中运行，采用轨迹基础的评分标准进行打分。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过多种配置测试，最强的LLM在Skill-Use基准下的SU分数仅为0.613，表明在技能触发和程序合规方面仍存在显著瓶颈，且不同配置下的模型排名和得分存在较大波动。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化任务执行和人机交互等。通过提升LLM在技能应用中的自主能力，可以显著增强其在复杂任务中的表现，推动智能代理在实际场景中的应用和发展。
📄 摘要（原文）
Large language model (LLM) agents increasingly rely on skills, structured documents that specify when to act, which procedure to follow, and which tools are allowed. Existing evaluations mostly judge the quality of a skill or its contribution to task success, leaving unexamined whether an agent can recognize a relevant skill and apply it on its own. We introduce Skill-Use, a benchmark that evaluates skill use under progressive disclosure, where an agent sees only a skill's name and short description and must retrieve the full procedure before following it. Skill-Use separates three facets of skill use. Trigger measures whether the agent invokes the relevant skill, Compliance measures how faithfully it follows the prescribed procedure, and Boundary measures whether it avoids forbidden operations. A Skill-Use (SU) score combines the three and credits execution only after the skill is triggered. Skill-Use pairs 79 real skills with 177 executable tasks across nine domains, each grounded in real files, run in an isolated Docker sandbox, and scored by a trajectory-based rubric. Evaluating eight LLMs under two agent harnesses, we find that reliable skill use remains out of reach, as the strongest configuration reaches an SU of only 0.613. Triggering and procedural compliance fail as independent bottlenecks, and both scores and model rankings shift with the harness, so skill use behaves as a capability conditioned on the harness rather than a fixed property of the model.