Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

📄 arXiv: 2607.28449v1 📥 PDF

作者: Yecheng Wu, Song Han, Han Cai

分类: cs.CL

发布日期: 2026-07-30

💡 一句话要点

提出Lightning OPD 2.0以解决跨教师蒸馏中的风格偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 跨教师学习 风格偏差 知识传递 模型优化 自然语言处理 代码生成

📋 核心要点

  1. 现有的在线蒸馏方法依赖于教师模型的一致性，但在实际应用中常常受到数据来源不明的影响，导致效果不佳。
  2. 论文提出的Lightning OPD 2.0通过交叉拟合风格残差化，消除教师与参考模型之间的风格偏差，从而提高蒸馏效果。
  3. 实验结果显示，Lightning OPD 2.0在数学推理和代码生成任务上分别达到了82.4%和63.0%的性能，显著优于之前的版本。

📝 摘要（中文）

在这篇论文中，作者探讨了在跨教师的在线蒸馏（OPD）中，教师一致性对模型性能的影响。由于训练数据的来源不明或混合，教师与参考模型之间的矛盾可能导致蒸馏效果不佳。为此，作者提出了Lightning OPD 2.0，采用交叉拟合风格残差化的方法，估计并消除风格偏差，从而提升了模型在数学推理和代码生成基准测试中的表现。实验结果表明，Lightning OPD 2.0在多个基准上均优于之前的版本，展示了其在跨教师蒸馏中的实用性。

🔬 方法详解

问题定义：论文旨在解决跨教师在线蒸馏中教师一致性不足的问题。现有方法在数据来源不明或混合时，教师与参考模型之间的矛盾会导致蒸馏效果不理想。

核心思路：Lightning OPD 2.0的核心思路是通过交叉拟合风格残差化来估计并消除风格偏差，从而提高蒸馏的有效性。这种方法允许独立选择SFT数据生成器和蒸馏教师。

技术框架：整体架构包括数据收集、教师模型生成、风格偏差估计和在线蒸馏四个主要模块。通过交叉拟合的方式，模型能够更好地理解和调整风格偏差。

关键创新：最重要的创新在于引入了交叉拟合风格残差化技术，作为风格标记偏差的操作代理。这一方法显著改善了跨教师蒸馏的效果，突破了教师一致性这一限制。

关键设计：在参数设置上，模型采用了多层次的损失函数设计，以平衡风格偏差的消除与性能提升。同时，网络结构经过优化，以适应不同教师模型的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，Lightning OPD 2.0展现出优异的性能，特别是在AIME 2024上达到了82.4%的准确率，在LiveCodeBench v5上达到了63.0%。这些结果表明，Lightning OPD 2.0在跨教师蒸馏中显著优于之前的版本，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和其他需要模型蒸馏的任务。通过减轻教师一致性的限制，Lightning OPD 2.0能够在多种场景下实现更高效的知识传递，提升模型的推理能力和生成质量，具有广泛的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) provides dense token-level supervision from a teacher, but its effectiveness can depend on teacher consistency, meaning that the model providing OPD supervision should also have generated the demonstrations used to train the supervised fine-tuning (SFT) reference. However, this condition is frequently violated in practice when SFT data have mixed or unknown provenance or when different models are preferred for SFT data generation and subsequent distillation. In such cross-teacher settings, even a stronger OPD teacher can yield little improvement over the SFT reference. We find that raw teacher--reference disagreement contains potentially useful context-specific teacher evidence as well as a recurring component associated with differences in wording, formatting, and reasoning cadence. We introduce Lightning OPD 2.0 with cross-fitted style residualization, which uses rollout-level cross-fitting to estimate this recurring component as an operational proxy for style-token bias and subtracts it before constructing the token-level OPD update. Across mathematical reasoning and code generation benchmarks, Lightning OPD 2.0 consistently outperforms Lightning OPD in cross-teacher settings. Starting from Klear-Reasoner-8B-SFT, Lightning OPD 2.0 reaches 82.4% on AIME 2024 and 63.0% on LiveCodeBench v5. Together, these results establish Lightning OPD 2.0 as a practical approach to cross-teacher OPD, relaxing teacher consistency as a prerequisite and allowing the SFT data generator and distillation teacher to be selected independently. Code will be released soon.