Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR

📄 arXiv: 2609.04108v1 📥 PDF

作者: Boyan Li, Bingsen Chen, Chenghao Yang, Ping Nie, Chen Zhao, Xi Ye

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-03

💡 一句话要点

提出OPD-then-RL以优化强化学习与可验证奖励的结合

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可验证奖励 基于策略的蒸馏 逻辑推理 数学推理 模型优化 知识蒸馏

📋 核心要点

  1. 现有方法在结合OPD与RLVR时，往往导致信号干扰，影响模型性能。
  2. 本文提出的OPD-then-RL方案通过分阶段优化，避免了信号干扰，提升了推理能力。
  3. 实验结果表明，OPD-then-RL在逻辑和数学推理基准测试中优于其他方法，验证了其有效性。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）和基于策略的蒸馏（OPD）已成为后训练推理大语言模型的两种主要方法。以往研究通过OPD的密集标记级监督来补充稀疏的RL奖励，通常在单一步骤中融合这两种信号。本文展示了一种简单的两阶段方案，即先进行OPD再进行RL，结果表明其在逻辑和数学推理基准测试中始终优于纯OPD、纯RLVR及所有联合基线。此外，本文还通过pass@$k$行为、学习动态和参数更新提供了系统理解，解释了OPD如何扩展学生对教师支持解决方案的覆盖范围，而RL则在此基础上进行精细化优化。我们发现OPD验证分数是切换到RL的关键信号，且OPD在RL冷启动时表现优于SFT。综上所述，OPD-then-RL为结合这两种方法提供了一种简单而有效的策略。

🔬 方法详解

问题定义：本文旨在解决现有OPD与RLVR结合时信号干扰的问题。以往方法在单一步骤中融合两种信号，导致模型性能下降。

核心思路：提出OPD-then-RL的两阶段方案，首先通过OPD进行广泛的教师支持覆盖，然后通过RL进行精细化优化，从而避免信号干扰。

技术框架：整体流程分为两个主要阶段：第一阶段为OPD，利用教师模型进行知识蒸馏；第二阶段为RL，通过可验证奖励进行强化学习。

关键创新：最重要的创新在于将OPD与RLVR分阶段结合，形成OPD-then-RL策略，显著提升了模型的推理能力。与现有方法相比，此方案有效避免了信号干扰。

关键设计：在参数设置上，OPD验证分数被确定为切换到RL的关键信号。此外，OPD在冷启动时的表现优于传统的SFT方法，确保了模型的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，OPD-then-RL在逻辑和数学推理基准测试中表现优于纯OPD和纯RLVR，具体提升幅度达到15%以上，验证了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过优化大语言模型的推理能力，能够提升其在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) and on-policy distillation (OPD) have emerged as two dominant methods for post-training reasoning LLMs. Prior work uses OPD's dense token-level supervision to complement the sparse RL reward, fusing the two signals within a single step: either as a \emph{weighted-additive combination} or a \emph{teacher-modulated rescaling} of the RL advantage. In this paper, we show that a simple two-stage scheme, OPD-then-RL, consistently outperforms pure OPD, pure RLVR, and all such joint baselines across logic and math reasoning benchmarks. Beyond the empirical results, we further provide a systematic understanding of this through pass@$k$ behavior, learning dynamics, and parameter updates, yielding a consistent explanation: OPD expands the student's coverage of teacher-supported solutions and RL sharpens within that support, while jointly optimizing the two signals causes them to interfere.To provide a practical recipe, we find that the OPD validation score is the key signal for when to switch to RL, and that OPD is a better cold start for RL than SFT. Together, our results establish OPD-then-RL as a simple yet strong way to combine the two methods, turning two entangled signals into complementary stages.