Weak-to-Strong Generalization via Direct On-Policy Distillation

📄 arXiv: 2607.05394v1 📥 PDF

作者: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-06

备注: Project Page: https://bytedtsinghua-sia.github.io/Direct-OPD/

💡 一句话要点

提出直接在线策略蒸馏以解决强化学习模型训练瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略蒸馏 模型训练 自然语言处理 隐式奖励 模型迁移 语言模型 深度学习

📋 核心要点

  1. 现有的强化学习方法在每次训练新模型时需要大量的回合生成，导致训练成本高昂，尤其是在模型规模增大时。
  2. 本文提出直接在线策略蒸馏（Direct-OPD），通过在小模型上进行RL训练并将学习到的策略迁移到强模型，从而降低训练成本。
  3. 实验结果显示，Direct-OPD能够显著提升强模型的性能，例如将Qwen3-1.7B在AIME 2024上的表现从48.3%提升至62.4%。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）是提升语言模型推理能力的重要方法，但在每个新强模型上重复训练代价高昂。本文提出了一种弱到强的替代方案：在较小模型上进行RL训练，然后将学习到的知识迁移到更强的目标模型。直接蒸馏弱教师的最终策略并不足够，因为其策略混合了有用的RL增益和小模型的局限性。我们提出了直接在线策略蒸馏（Direct-OPD），通过比较弱教师的后RL策略与其前RL参考，利用其对数比作为学生的隐式奖励信号。实验表明，Direct-OPD能够有效利用弱教师来提升强目标模型的性能。

🔬 方法详解

问题定义：本文旨在解决在每次训练新强模型时，强化学习的高昂成本问题，尤其是在模型规模增大时，后训练过程成为瓶颈。

核心思路：提出直接在线策略蒸馏（Direct-OPD），通过在较小模型上进行RL训练，获取其策略变化，并将其迁移到更强的目标模型，而不是直接蒸馏弱教师的最终策略。

技术框架：整体流程包括在小模型上进行RL训练，获取后RL策略与前RL参考的对比，然后将对数比作为隐式奖励信号应用于强模型的在线状态。主要模块包括弱教师模型、强学生模型和奖励信号生成模块。

关键创新：Direct-OPD的创新在于利用弱教师的RL引导策略变化，而不是简单模仿其最终策略，这使得可以有效利用弱模型的RL监督信号。

关键设计：在设计中，关键参数包括弱教师和强学生模型的选择，以及对数比作为隐式奖励信号的计算方式，确保信号能够有效指导强模型的学习。实验中使用的损失函数和网络结构也经过精心设计，以适应不同模型的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Direct-OPD显著提升了Qwen3-1.7B在AIME 2024上的表现，从48.3%提高至62.4%。该方法在仅用4小时的时间内，利用8个A100 GPU的计算资源，超越了逐步匹配的直接RL方法，并支持多个策略变化的顺序组合。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够有效提升模型的推理能力和响应质量。通过降低训练成本，Direct-OPD为大规模模型的训练提供了一种新的思路，未来可能在更多领域得到应用。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without training an explicit reward model or running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 62.4% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.