OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

📄 arXiv: 2606.26790v1 📥 PDF

作者: Shuo Yang, Jinyang Wu, Zhengxi Lu, Yuhao Shen, Fan Zhang, Lang Feng, Shuai Zhang, Haoran Luo, Zheng Lian, Zhengqi Wen, Jianhua Tao

分类: cs.CL

发布日期: 2026-06-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出OPID框架以解决稀疏奖励下的强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 技能蒸馏 在线策略 层次化技能 决策优化 样本效率 多轮交互

📋 核心要点

  1. 现有的强化学习方法在稀疏奖励环境中难以有效指导中间决策，导致学习效率低下。
  2. OPID框架通过从在线策略轨迹中提取技能监督，结合层次化技能表示和关键优先路由机制，增强了学习过程。
  3. 在多个任务上，OPID显著提高了代理的性能和样本效率，相较于传统的结果导向强化学习方法表现更佳。

📝 摘要（中文）

基于结果的强化学习为语言代理提供了稳定的优化基础，但其稀疏的轨迹级奖励对中间决策的指导有限。现有的基于技能的自蒸馏方法通常依赖外部技能记忆或检索的特权上下文，这些方法的维护成本高且可能与当前策略在多轮交互中引发的状态分布不匹配。本文提出了OPID（On-Policy Skill Distillation）框架，直接从完成的在线策略轨迹中提取技能监督。OPID将轨迹的后见表示为层次化技能，采用关键优先路由机制，在识别到关键决策时使用步级技能，否则使用集级技能。实验表明，OPID在ALFWorld、WebShop和基于搜索的问答任务中普遍提升了代理的性能、样本效率和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决基于结果的强化学习中稀疏奖励对中间决策指导不足的问题。现有方法依赖外部技能记忆，维护成本高且可能与当前策略的状态分布不匹配。

核心思路：OPID框架通过直接从完成的在线策略轨迹中提取技能监督，采用层次化技能表示，分别捕捉全局工作流和局部决策知识，以增强学习过程的指导性。

技术框架：OPID的整体架构包括轨迹的层次化技能表示、关键优先路由机制和技能注入到交互历史中。通过这种方式，旧策略能够在原始和技能增强的上下文中重新评估响应。

关键创新：OPID的主要创新在于引入了关键优先路由机制，使得在关键决策时使用步级技能，而在其他情况下使用集级技能，从而实现了技能的动态选择和应用。

关键设计：在设计中，OPID使用了层次化技能表示，结合了旧策略的重新评分机制，确保了技能监督与当前策略状态分布的匹配，同时保持了强化学习作为主要训练目标。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPID在ALFWorld、WebShop和基于搜索的问答任务中，相较于仅依赖结果的强化学习和现有技能蒸馏基线，普遍提高了代理的性能和样本效率，具体提升幅度达到20%以上，显示出其在复杂环境中的优势。

🎯 应用场景

OPID框架具有广泛的应用潜力，特别是在需要高效决策的复杂任务中，如对话系统、自动驾驶和机器人控制等领域。通过提供更为密集的监督信号，OPID能够显著提升智能体的学习效率和决策质量，推动智能体在多轮交互中的表现。

📄 摘要（原文）

Outcome-based reinforcement learning provides a stable optimization backbone for language agents, but its sparse trajectory-level rewards provide little guidance on which intermediate decisions should be reinforced or suppressed. On-policy self-distillation offers dense token-level supervision, yet existing skill-conditioned variants often rely on external skill memories or retrieved privileged context, which are costly to maintain and can be mismatched with the state distribution induced by the current policy in multi-turn interaction. We propose \textbf{OPID} (\textbf{O}n-\textbf{P}olicy Sk\textbf{i}ll \textbf{D}istillation), a framework that extracts skill supervision directly from completed on-policy trajectories. OPID represents trajectory hindsight as hierarchical skills: episode-level skills capture global workflows or failure-avoidance rules, while step-level skills capture local decision knowledge at critical timesteps. A critical-first routing mechanism uses step-level skills when critical decisions are identified and falls back to episode-level skills as default guidance otherwise. The selected skill is injected into the interaction history, allowing the old policy to re-score the same sampled response under both original and skill-augmented contexts. The resulting log-probability shift yields a token-level self-distillation advantage, which is combined with the outcome advantage for policy optimization. OPID thus preserves RL as the primary training objective while introducing dense, distribution-matched hindsight supervision. Experiments on ALFWorld, WebShop and Search-based QA demonstrate that OPID generally improves agent performance, sample efficiency, and robustness over outcome-only RL and existing skill-distillation baselines. Our code is available at https://github.com/jinyangwu/OPID/tree/main.