ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
作者: Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-08-04
💡 一句话要点
提出ContinualSkillBench以评估LLM代理的技能演化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 技能演化 大型语言模型 动态评估 任务适应性 上下文学习 显式技能 跨任务重用
📋 核心要点
- 现有的技能演化机制在持续适应方面表现良好，但在将经验整合为稳健且可转移的技能方面仍存在挑战。
- 本文提出ContinualSkillBench框架，旨在动态评估LLM在上下文中的持续技能学习，涵盖多个领域和任务。
- 实验结果显示，顺序执行通常能提升性能，但不同模型和领域的提升幅度差异较大，且上下文学习与显式技能维护表现相当。
📝 摘要（中文）
现代代理框架通过外部技能库增强大型语言模型（LLM）解决复杂任务的能力。然而，这些系统是否能够有效演化其技能，以及这些技能是否能提升任务解决能力仍不明确。为此，本文提出了ContinualSkillBench，一个动态评估框架，用于上下文中的持续技能学习。该框架涵盖五个代表性领域，每个领域包含100个相互关联的子任务，按难度递增并提供跨任务技能重用的机会。实验结果表明，顺序执行通常能提高性能，但不同模型和领域的提升幅度差异显著。此外，研究发现上下文学习的表现与显式技能维护相当，表明改进主要源自对先前上下文和反馈的适应，而不仅仅是可重用技能的抽象。显式技能在需要可重用程序或精确输出的任务中仍然提供选择性优势。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在技能演化过程中的有效性和能力提升问题。当前方法在技能整合和转移能力上存在不足，导致模型在复杂任务中的表现不稳定。
核心思路：提出ContinualSkillBench框架，通过动态评估和上下文学习，促进模型在不同任务间的技能演化和适应。该框架设计旨在提高模型的任务解决能力，尤其是在跨任务技能重用方面。
技术框架：ContinualSkillBench框架包括五个领域，每个领域包含100个子任务，任务按难度递增并设计为互相关联。框架通过顺序执行和上下文反馈机制来评估模型的技能演化能力。
关键创新：最重要的创新在于动态评估框架的引入，使得模型能够在上下文中持续学习和适应，而不仅仅依赖于显式技能的维护。这一设计与传统方法的本质区别在于强调了上下文适应的重要性。
关键设计：框架中设置了多个参数以控制任务难度和技能重用机会，损失函数设计为优化模型在不同任务间的适应能力，网络结构则支持多任务学习和技能共享。
🖼️ 关键图片
📊 实验亮点
实验结果表明，顺序执行通常能提高模型性能，但不同模型和领域的提升幅度差异显著。上下文学习的表现与显式技能维护相当，表明改进主要源于对先前上下文和反馈的适应。显式技能在需要可重用程序的任务中仍然提供选择性优势。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和教育技术等。通过提升大型语言模型的技能演化能力，可以实现更高效的任务解决方案，进而推动人机交互的智能化和个性化发展。未来，该框架可能为持续学习和适应性系统的研究提供新的思路和方法。
📄 摘要（原文）
Modern agent frameworks equip large language models with external skill libraries to solve complex tasks. However, it remains unclear whether these systems can effectively evolve their skills and whether the resulting skills improve task-solving capabilities. To bridge this gap, we introduce ContinualSkillBench, a dynamic evaluation framework for in-context continual skill learning. It covers five representative domains, each containing 100 interconnected subtasks ordered by increasing difficulty and opportunities for cross-task skill reuse. Our experiments show that sequential execution generally improves performance, but the gains vary substantially across models and domains. Moreover, in-context learning performs comparably to explicit skill maintenance on average, suggesting that much of the improvement arises from adaptation to prior context and feedback rather than reusable skill abstraction alone. Explicit skills nevertheless provide selective benefits for tasks requiring reusable procedures or precise outputs. We further find that less capable models tend to accumulate larger, more fragmented collections of task-specific skills. These findings show that current in-context skill evolution mechanisms can support continual adaptation, but still struggle to consistently consolidate experience into robust and transferable skills.