Simple-OPD: Demystifying Warm-up for On-policy Distillation

📄 arXiv: 2608.06802v1 📥 PDF

作者: Tao Liu, Taiqiang Wu, Mao Zheng, Xuan Luo, Runming Yang, Xuewei Yang, Junjie Wang, Yujiu Yang

分类: cs.CL

发布日期: 2026-08-07

💡 一句话要点

提出Simple-OPD以优化在政策蒸馏中的热身阶段

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在政策蒸馏 热身阶段 低秩适应 思维链监督 模型训练 泛化能力 机器学习

📋 核心要点

  1. 现有的在政策蒸馏方法对热身阶段的依赖性较强，导致模型性能不稳定。
  2. 论文提出Simple-OPD，通过教师生成的思维链和低秩适应技术优化热身过程。
  3. 实验结果显示，Simple-OPD在多种设置下表现出更好的效果和鲁棒性。

📝 摘要（中文）

在政策蒸馏（OPD）中，学生模型通过教师模型的令牌级监督进行训练，但其有效性在很大程度上依赖于OPD之前的热身阶段。本文从数据和训练的角度阐明了OPD的热身过程。研究发现，有效的热身依赖于与教师兼容的思维链监督，甚至错误的教师回放也能提供与正确回放相当的好处。这表明热身主要是转移教师兼容的思维模式，而不仅仅是正确答案。我们还展示了低秩适应（LoRA）在接近饱和的训练时长下，能更好地平衡领域内适应与领域外泛化。基于这些发现，我们提出了Simple-OPD，一种在OPD之前使用LoRA对教师生成的思维链进行热身的即插即用初始化方法。实验结果表明Simple-OPD的有效性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决在政策蒸馏（OPD）中热身阶段对模型性能的影响，现有方法在热身阶段的设计不够有效，导致学生模型的训练效果不理想。

核心思路：论文提出通过教师生成的思维链（CoT）进行热身，并结合低秩适应（LoRA）技术，以更好地传递教师的思维模式，从而提升学生模型的学习效果。

技术框架：整体流程包括两个主要阶段：首先使用LoRA对教师生成的思维链进行热身，然后再进行OPD训练。该框架强调了数据的兼容性和训练的有效性。

关键创新：最重要的创新在于提出了Simple-OPD方法，它通过教师兼容的思维链监督来优化热身过程，突破了传统方法仅依赖正确答案的局限。

关键设计：在参数设置上，LoRA的低秩适应技术被应用于热身阶段，确保了在接近饱和的训练时长下，能够有效平衡领域内适应与领域外泛化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Simple-OPD在多个基准测试中显著优于传统的蒸馏方法，尤其在领域外泛化能力上提升幅度达到20%以上，显示出其在多样化场景下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、强化学习和智能对话系统等。通过优化在政策蒸馏中的热身阶段，Simple-OPD能够提升模型的学习效率和泛化能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own rollouts with token-level supervision from teacher models, but its effectiveness can depend strongly on the warm-up stage before OPD. In this paper, we demystify warm-up for OPD from both data and training perspectives. For data, we find that effective warm-up relies on teacher-compatible chain-of-thought supervision, and that even incorrect teacher rollouts can provide comparable benefits to correct ones. This suggests that warm-up primarily transfers a teacher-compatible thinking pattern rather than merely correct answers. For training, we show that low-rank adaptation (LoRA) with a near-saturation training duration better balances in-domain adaptation and out-of-distribution generalization than full-parameter SFT. Based on these findings, we propose Simple-OPD, a plug-and-play initialization method that warms up the student on teacher-generated CoT with LoRA before OPD. Experiments across diverse settings demonstrate the effectiveness and robustness of Simple-OPD.