A Framework for Evaluating Agentic Skills at Scale
作者: Maksim Shaposhnikov, Nicolas Fortuin, Simon Stipcich, Maria I. Gorinova, Amy Heineike, Rob Willoughby
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-06-16
💡 一句话要点
提出评估智能技能的框架以解决跨领域应用不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能技能 评估框架 大型语言模型 任务构建 模型评估 性能提升 跨领域应用
📋 核心要点
- 现有方法缺乏对智能技能的系统评估，导致其跨领域应用效果不佳。
- 论文提出了一种评估框架，允许技能作者设计任务以评估技能效用，增强了评估的灵活性和准确性。
- 通过对19种代理模型的评估，发现模型在遵循指令方面存在显著差异，且技能的引入显著改善了模型表现。
📝 摘要（中文）
智能技能是增强大型语言模型（LLM）代理能力的结构化、可重用知识工件，尽管其在工业界的快速应用，但其跨领域影响及在商业和开源模型中的使用仍未得到充分研究，且缺乏可重用的评估方法。本文提出了一种评估框架，使技能作者能够构建现实任务，以严格评估技能的关键方面，并通过解决这些任务来估计技能的效用。此外，我们在500个真实技能上大规模应用了评估方法，生成了1000个基于技能内容的任务，并制定了遵循指令和目标完成的评分标准。结果表明，不同模型在遵循技能中编码的指令方面差异显著，导致性能提升的差异。此外，获得技能显著改变了模型行为，相较于无技能设置，提供了将特定工作流编码到LLM代理中的重要机制。我们发布了评估数据集，以支持未来在智能技能领域的研究。
🔬 方法详解
问题定义：本文旨在解决智能技能在不同领域应用时缺乏系统评估的方法，现有方法无法有效评估技能的实际效用和影响。
核心思路：提出一种灵活的评估框架，使技能作者能够设计与其技能相关的现实任务，从而准确评估技能的关键特性和效用。
技术框架：评估框架包括任务构建模块、评分标准模块和模型评估模块。任务构建模块允许用户生成基于技能内容的任务，评分标准模块提供遵循指令和目标完成的评分体系，模型评估模块则对不同模型在这些任务上的表现进行分析。
关键创新：最重要的创新在于提供了一种可重用的评估方法，能够在大规模上评估不同模型对智能技能的响应，填补了现有研究的空白。
关键设计：在评估过程中，设计了1000个任务，并制定了详细的评分标准，确保评估的客观性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，19种代理模型在遵循技能指令方面的表现差异显著，某些模型在引入技能后性能提升幅度达到30%以上。这表明技能的有效性和模型的适应性之间存在密切关系，为未来的研究提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工作流和教育技术等。通过提供一个系统的评估框架，企业和研究人员可以更好地理解和优化智能技能的应用，从而提升模型的实际效用和用户体验，推动相关技术的进一步发展。
📄 摘要（原文）
Agent skills -- structured, reusable knowledge artifacts that augment LLM agent capabilities -- have been rapidly adopted in industry, yet their cross-domain impact and use across commercial and open-source models remain under-studied, and no reusable methodology exists for evaluating an individual skill. In this work, we present an evaluation framework that lets a skill author construct realistic tasks to rigorously assess the aspects of a skill that matter most to them, and that estimates skill utility by solving those tasks. Further, we apply our evaluation approach at scale to 500 real-world skills, generating 1,000 tasks derived from the skills' content, along with instruction-following and goal-completion scoring rubrics. Using these metrics, we evaluate how 19 agent-model configurations, both proprietary and open-source, perform on the tasks. Our results show that models vary widely in how closely they adhere to the instructions encoded in skills, leading to substantial differences in their performance gains. Furthermore, we show that access to a skill significantly changes model behavior compared to the no-skill setup, providing an essential mechanism for encoding opinionated workflows into LLM agents. We release our evaluation dataset to support future work on agent skills.