WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training

📄 arXiv: 2608.09447v1 📥 PDF

作者: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Tao Huang, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban

分类: cs.LG, cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出WDL-OPD以解决在线蒸馏的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 共同训练 策略优化 模型稳定性 自然语言处理 代码生成 强化学习

📋 核心要点

  1. 现有的在线蒸馏方法在策略更新时可能导致不稳定，影响模型性能。
  2. WDL-OPD通过引入锚策略和辅助策略的混合训练，解决了在线蒸馏中的不稳定性问题。
  3. 在Qwen3实验中，WDL-OPD在不同规模下均取得了最佳的学生模型表现，提升了MATH500的准确率。

📝 摘要（中文）

在线蒸馏（OPD）通过对学生和教师在学生自身采样的轨迹上进行对齐，减少了离线蒸馏中的训练-测试状态不匹配。然而，这种反馈循环可能不稳定，因为每次更新都会改变策略和计算下一次更新所依据的状态。本文提出了WDL-OPD，一种混合约束的共同训练方法，使用两个可训练的策略：一个锚策略生成每个回合，辅助策略评估相同的访问状态，并通过反向KL匹配其令牌分布的几何混合到一个冻结的教师模型。实验结果表明，WDL-OPD在多个规模设置中均产生了最强的学生检查点，并显著提高了MATH500的准确率。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏（OPD）中由于策略和状态的频繁变化导致的不稳定性问题。现有方法在更新过程中可能引入噪声，影响模型的训练效果。

核心思路：WDL-OPD提出了一种混合约束的共同训练方法，利用锚策略生成回合，同时使用辅助策略评估访问状态，通过反向KL散度对齐教师模型，从而稳定训练过程。

技术框架：整体架构包括两个主要模块：锚策略负责生成训练轨迹，辅助策略则对这些轨迹进行评估。通过对两者的输出进行几何混合，确保与冻结教师模型的对齐。

关键创新：WDL-OPD的创新在于引入了混合训练机制，使得锚策略和辅助策略能够共同优化，从而克服了传统在线蒸馏方法的局限性，提供了更大的自由度。

关键设计：在训练过程中，辅助策略的参数被冻结，以恢复与OPD²和W2S-OPD相关的锚加对比代理目标。通过这种设计，WDL-OPD能够有效地减少训练过程中的不稳定性。实验中还提供了具体的训练算法和对比矩阵，以验证假设。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在Qwen3实验中，WDL-OPD在1.7B和4B规模下分别将MATH500的准确率从0.521提升至0.585，以及从0.630提升至0.685。此外，七种单策略OPD配置表现出熵增长或轨迹退化，而共同训练方法则达到了独立重新评估的开发分数0.637和0.375，显示出显著的性能提升。

🎯 应用场景

WDL-OPD的研究成果在多个领域具有潜在应用价值，尤其是在需要高效模型训练的场景，如自然语言处理、代码生成和强化学习等。通过提高模型的稳定性和性能，该方法能够推动智能系统的进一步发展，提升其在实际应用中的表现。

📄 摘要（原文）

On-policy distillation (OPD) aligns a student with a teacher on trajectories sampled from the student itself, reducing the train-test state mismatch of offline distillation. The same feedback loop can nevertheless be unstable: each update changes both the policy and the states on which the next update is computed. We introduce WDL-OPD, a mixture-constrained co-training method with two trainable policies. An anchor policy generates every rollout, an auxiliary policy evaluates the same visited states, and a geometric mixture of their token distributions is matched to a frozen teacher by reverse KL. Both policies receive gradient. We show that freezing the auxiliary recovers an anchor-plus-contrast proxy target closely related to OPD$^2$ and W2S-OPD, whereas joint training creates branch-level degrees of freedom that a static delta cannot express. In recorded Qwen3 experiments at 1.7B and 4B scale, WDL-OPD produces the strongest student checkpoint in each of four scale-domain settings. It raises MATH500 accuracy from 0.630 to 0.685 at 4B and from 0.521 to 0.585 at 1.7B. In code generation, seven single-policy OPD configurations exhibit entropy growth or trajectory degradation, while co-training reaches independently re-evaluated development scores of 0.637 and 0.375. Because several comparisons differ in curriculum or initialization, these results support a stabilization hypothesis rather than a universal causal claim. We provide the exact training algorithm, failure evidence, and the controlled comparison matrix needed to test that hypothesis.