Progressive Agent Skill Generation via Reinforcement Learning
作者: Junhao Shen, Zhanqiu Zhang, Yiwen Guo, Hong Cheng
分类: cs.LG, cs.CL
发布日期: 2026-08-03
备注: Code is available at https://github.com/ejhshen/skill-alpha
💡 一句话要点
提出Skill-α以解决技能生成中的监督信号缺失问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 技能生成 强化学习 回滚奖励 代理技能 机器学习
📋 核心要点
- 现有技能生成方法依赖启发式设计，缺乏统一性，且难以处理不同证据源的整合问题。
- 本文提出Skill-α，通过强化学习将技能生成视为逐步编辑过程，利用回滚奖励评估技能编辑效果。
- 实验结果显示，Skill-α在CL-Bench和tau2-bench上分别提高了3.3和6.7的成功率，优于现有最强基线。
📝 摘要（中文）
现有的技能生成方法主要依赖启发式或管道式整合，需针对不同证据源特别设计。相比之下，基于学习的方法提供了更统一的技能生成建模方式。然而，由于技能缺乏基于相关性或正确性的自然监督信号，学习型技能生成仍面临挑战。为此，本文提出了Skill-α，一种通过强化学习逐步生成高质量代理技能的方法。我们将技能生成形式化为一个顺序编辑过程，分解技能构建为可单独评估的编辑，并引入了一种新颖的回滚奖励，通过比较原始技能和编辑后技能在锚定查询下的下游执行来评估每个编辑。实验表明，Skill-α在文档到技能和经验到技能的设置中生成的技能效果优于基于启发式或管道的方法。
🔬 方法详解
问题定义：现有的技能生成方法往往依赖于启发式或管道式整合，缺乏统一的建模方式，且技能生成缺乏有效的监督信号，导致生成的技能质量不高。
核心思路：本文提出Skill-α，通过强化学习将技能生成视为一个逐步的编辑过程，允许对技能进行可评估的单独编辑，并通过回滚奖励来评估每个编辑的有效性。
技术框架：Skill-α的整体架构包括技能生成的顺序编辑过程，首先生成初始技能，然后通过一系列编辑操作逐步改进技能，最后通过回滚奖励进行评估。
关键创新：最重要的创新在于引入了回滚奖励机制，能够有效评估技能编辑的影响，解决了传统方法中缺乏有效监督信号的问题。
关键设计：在技术细节上，Skill-α采用了基于强化学习的策略优化方法，设计了特定的损失函数以适应回滚奖励的计算，并在网络结构上进行了优化以提升生成效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Skill-α在CL-Bench和tau2-bench上分别提高了3.3和6.7的成功率，显著优于现有的技能生成基线，验证了回滚奖励和逐步生成的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、游戏AI和自动化决策系统等。通过生成高质量的代理技能，Skill-α能够提升智能体在复杂任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Existing skill generation methods largely rely on heuristics or pipeline-style consolidation, which must be specially designed for different evidence sources. In contrast, learning-based approaches offer a more unified way to model skill generation across heterogeneous sources. However, learning-based skill generation remains challenging because skills lack a natural supervision signal based on relevance or correctness; their value can largely be determined only by whether they improve the behavior of the agent on downstream tasks. To address this challenge, we propose Skill-$α$, a reinforcement learning method for progressively generating high-quality agent skills. Specifically, we formulate skill generation as a sequential editing process that decomposes skill construction into individually evaluable edits, and introduce a novel rollback reward that evaluates each edit by comparing downstream execution under the original and edited skills on an anchored query. Extensive experiments show that Skill-$α$ generates more effective skills than methods based on heuristics or pipelines in both document-to-skill and experience-to-skill settings. Under the main GPT-4o worker, Skill-$α$ improves average downstream success rates over the strongest skill-generation baseline by 3.3 points on CL-Bench and 6.7 points on tau2-bench. Further ablations validate the importance of rollback reward and progressive generation.