Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback

📄 arXiv: 2608.17587v1 📥 PDF

作者: Kang Peng, Zhiwei Zhang, Yichen Zhang, Zezhong Wang, Yiming Du, Geng Tu, Baojun Wang, Bin Liang, Ruifeng Xu, Kam-Fai Wong

分类: cs.CL

发布日期: 2026-08-18

💡 一句话要点

提出WER框架以优化工具使用代理的技能生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 技能优化 执行反馈 强化学习 工具使用代理 自然语言处理 多阶段框架

📋 核心要点

  1. 现有的技能生成方法在代理自创技能时表现不佳，导致性能显著低于专家技能。
  2. 提出WER框架，通过将执行反馈整合为训练状态，训练一个独立的技能优化器以提升技能质量。
  3. 实验结果显示，WER框架在多个基准测试中显著提高了技能执行的成功率，验证了其有效性。

📝 摘要（中文）

专家编写的自然语言技能能够提升工具使用代理的性能，但代理自创的技能表现却比不使用技能低8-11分。这一差距表明，遵循程序性指导与基于执行反馈改进技能是两种不同的能力。本文提出了WER（Write, Execute, Refine）框架，通过将执行经验组织为训练状态，训练一个技能优化器。该优化器提出技能，固定代理执行并评分，利用评分结果进行技能的改进。实验表明，WER在BFCL v4和tau2-bench上分别提高了7.80和3.85分，且在相同的改进流程下，优化器训练的模型超越了未训练的基线模型，达到了76.63%的准确率。

🔬 方法详解

问题定义：本文旨在解决代理自创技能性能低下的问题，现有方法未能有效利用执行反馈进行技能改进，导致技能质量不高。

核心思路：提出WER框架，通过将执行经验转化为训练状态，训练一个独立的技能优化器，使其能够基于执行结果不断改进技能。

技术框架：WER框架分为三个阶段：写作（Write）、执行（Execute）和改进（Refine）。优化器提出技能，固定代理执行这些技能并进行评分，随后根据评分结果进行技能的改进。

关键创新：最重要的创新在于将执行反馈系统化地整合进技能优化过程中，使得优化器能够学习到成功与失败的技能执行轨迹，从而提升后续技能的质量。

关键设计：在设计中，优化器的训练使用了相对评分机制，结合成功与失败的执行记录，形成下一阶段的改进状态，确保优化器能够有效学习并提升技能的执行效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，WER框架在BFCL v4和tau2-bench上分别提高了7.80和3.85分，且在相同的改进流程下，训练后的优化器模型超越了未训练的基线模型，达到了76.63%的准确率，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人技能学习、自动化工具使用和智能代理系统等。通过提升代理的技能生成能力，可以在复杂任务中实现更高效的工具使用，进而推动智能系统在实际应用中的广泛部署与发展。

📄 摘要（原文）

Expert-written natural language skills can improve tool-using agents, yet agent-authored skills perform 8-11 points worse than using no skill. This gap suggests that following procedural guidance and improving it from execution evidence are distinct capabilities. Inference time loops can repair skills but do not improve the model that writes the next one. We study how to organize execution experience from intermediate skills into training states for an optimizer. We introduce WER (Write, Execute, and Refine), a multi-phase framework that trains a Skill Optimizer outside a frozen executor. The optimizer proposes skills, a frozen agent executes each repeatedly, and a programmatic verifier scores the outcomes. The scores provide relative credit and select mixed-outcome records. Matched successful and failed trajectories from these records form the next phase's refinement states, so the optimizer learns from the consequences of its earlier outputs. On BFCL v4 multi-turn and tau2-bench, WER improves average Pass@1 over the no-skill baseline by 7.80 and 3.85 points, respectively. Under an identical refinement workflow, it outperforms the same backbone without optimizer training by 9.35 and 10.29 points. The trained 4B optimizer reaches 76.63 percent on BFCL v4, outperforming all evaluated off-the-shelf general-purpose models used as skill optimizers on average.