Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting
作者: Hongqiang Lin, Chao Liu, Xiaofan Bai, Xuan Jin, Yuhong Li, Nenggan Zheng, Xipeng Cao
分类: cs.AI, cs.LG
发布日期: 2026-07-29
💡 一句话要点
提出SkillBoost以解决技能过拟合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 技能优化 过拟合 探索-利用 大型语言模型 智能代理 自动化系统 人机交互
📋 核心要点
- 现有方法在技能优化中容易出现过拟合，导致模型在真实环境中的表现不佳。
- 论文提出SkillBoost框架，通过结构化利用和基于先验知识的探索来优化技能，避免过拟合。
- 实验结果显示，SkillBoost在多种配置下表现优异，优化的技能可被其他代理重用，提升了任务执行能力。
📝 摘要（中文）
使大型语言模型（LLM）代理能够积累和重用过去交互的经验是现实应用中的一个核心挑战。本文提出将技能视为可训练状态，并以与神经网络训练相同的方式进行优化。然而，基于数据的技能优化容易对来自真实环境的有限轨迹过拟合。过度利用这些轨迹会导致当前批次的过拟合，而无约束的探索则会导致对先前解决案例的回归。为此，本文提出了SkillBoost，一个三阶段框架，通过结构化的利用、基于先验知识的探索和经过验证的接受机制来缓解这两种风险。实验表明，SkillBoost在23个模型-基准配置中实现了最先进的性能，同时减轻了过拟合，优于人类设计和LLM生成的技能。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在技能优化过程中面临的过拟合问题。现有方法在利用有限的真实环境轨迹时，容易导致模型对当前批次的过拟合，且无约束的探索可能导致对已解决问题的回归。
核心思路：论文提出的SkillBoost框架通过引入结构化的利用和基于先验知识的探索，旨在平衡探索与利用之间的权衡，从而有效地优化技能并减少过拟合风险。
技术框架：SkillBoost框架分为三个主要阶段：第一阶段是结构化利用，定位可编辑的技能组件；第二阶段是基于先验知识的探索，生成多样化的修复候选；第三阶段是经过验证的接受，仅在候选方案在回归界限内提升性能时才予以采纳。
关键创新：SkillBoost的创新在于其将技能视为可训练状态，并通过约束的探索-利用过程来优化技能，显著区别于传统的技能优化方法。
关键设计：在设计中，SkillBoost采用了结构化的利用策略，结合先验知识生成修复候选，并通过性能验证机制确保优化的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SkillBoost在23个模型-基准配置中实现了最先进的性能，显著优于人类设计和LLM生成的技能，且优化的技能在相似任务中可被其他代理重用，展示了良好的迁移能力。
🎯 应用场景
该研究的潜在应用领域包括智能代理、自动化系统和人机交互等。通过优化技能，代理能够更有效地处理复杂任务，提高工作效率和准确性，未来可能在机器人、客服系统等多个领域产生深远影响。
📄 摘要（原文）
Enabling large language model (LLM) agents to accumulate and reuse experience from past interactions remains a central challenge in real-world applications. A promising solution is to treat skills as trainable states and optimize them in the same way as model parameters in neural network training. However, data-driven skill optimization is prone to overfitting to the limited trajectories collected from real environments. Overexploiting these trajectories overfits the current batch, while unconstrained exploration causes regression on previously solved cases. This tension motivates a constrained search view of skill self-evolution, governed by an exploration--exploitation trade-off. We propose SkillBoost, a three-stage framework that mitigates both risks: structured exploitation localizes observed failures to editable skill components, prior-guided exploration draws on prior knowledge in the LLM to generate diverse repair candidates, and verified acceptance commits a candidate only when it improves performance within a regression bound. Experiments across 23 model--benchmark configurations show that SkillBoost achieves state-of-the-art performance while mitigating overfitting, outperforming both human-crafted and LLM-generated skills. Transfer experiments further show that optimized skills can be reused by other agents on similar tasks.