On-policy Distillation with Verifiable Reward

📄 arXiv: 2608.24696v1 📥 PDF

作者: Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, Shenzhi Wang, Bingxiang He, Gao Huang

分类: cs.LG, cs.AI

发布日期: 2026-08-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出OPDVR以解决稀疏反馈与轨迹正确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 在线蒸馏 轨迹正确性 自然语言处理 模型优化

📋 核心要点

  1. 现有的RLVR方法面临稀疏的任务级反馈，而OPD方法虽然提供了密集的标记级指导，却忽视了轨迹的正确性，限制了性能提升。
  2. 本文提出的OPDVR方法通过重新定义隐式奖励和引入ReLU门控机制，有效结合了OPD和RLVR，避免了额外的超参数设置。
  3. 在六个推理基准上的实验结果显示，OPDVR在性能上显著优于标准的OPD方法，验证了其有效性。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）和基于策略的蒸馏（OPD）已成为后训练大型语言模型的两种广泛采用的范式。然而，RLVR面临稀疏的任务级反馈，而OPD提供密集的标记级指导但忽视轨迹的正确性，限制了其性能。为此，本文提出了一种简单有效的方法——基于可验证奖励的在线蒸馏（OPDVR），无须增加超参数，能够无缝结合OPD和RLVR。通过重新定义基于轨迹正确性的隐式奖励，并应用ReLU门控机制，确保正确轨迹获得非负奖励，错误轨迹获得非正奖励，从而将蒸馏信号与任务成功对齐。实验结果表明，OPDVR在六个推理基准上均优于标准OPD。

🔬 方法详解

问题定义：本文旨在解决现有RLVR和OPD方法在反馈稀疏性和轨迹正确性上的不足。RLVR缺乏有效的任务级反馈，而OPD则未能充分利用轨迹的正确性，导致性能受限。

核心思路：OPDVR通过重新定义基于轨迹正确性的隐式奖励，并引入ReLU门控机制，确保正确轨迹获得正奖励，错误轨迹获得负奖励，从而将蒸馏信号与任务成功对齐。

技术框架：OPDVR的整体架构包括两个主要模块：一是基于轨迹的奖励计算，二是与任何策略梯度算法（如GRPO）结合的蒸馏过程。通过这种方式，OPDVR能够有效整合OPD和RLVR的优点。

关键创新：OPDVR的主要创新在于无缝结合OPD和RLVR，而不需要额外的超参数设置。这一设计使得方法更加简洁高效，避免了传统方法中的权重组合和启发式切换带来的复杂性。

关键设计：在设计中，采用ReLU门控机制来确保奖励的正负性，此外，损失函数的设计也考虑了轨迹的正确性，以确保蒸馏信号的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPDVR在六个推理基准上均显著优于标准OPD，具体提升幅度达到XX%，展示了其在处理复杂任务时的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化推理等。通过提升模型在复杂任务中的表现，OPDVR能够为实际应用提供更高效、更准确的解决方案，推动相关领域的发展。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) and on-policy distillation (OPD) have become two widely adopted paradigms for post-training large language models. However, RLVR suffers from sparse task-level feedback, while OPD provides dense token-level guidance but ignores trajectory correctness, limiting its performance to that of the teacher. Combining them is a promising direction: OPD supplies dense supervisory signals, while RLVR provides task-level correctness. Nevertheless, existing integrations often rely on weighted combination or heuristic switching, introducing extra hyperparameters and trade-offs. We propose On-policy Distillation with Verifiable Reward (OPDVR), a simple yet effective method that seamlessly combines OPD and RLVR without adding any hyperparameters. We first reformulate the implicit reward of sampled-token OPD based on trajectory correctness, then apply a ReLU gating mechanism to ensure that correct trajectories receive non-negative rewards and incorrect ones receive non-positive rewards---thereby aligning the distillation signal with task success while preserving the teacher's distributional guidance. Furthermore, our modification transforms sampled-token OPD into a proper RLVR method, making it readily combinable with any policy gradient algorithm, such as GRPO. Experiments on six reasoning benchmarks show that OPDVR consistently outperforms standard OPD. Our code is available at https://github.com/LeapLabTHU/OPDVR.