SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

📄 arXiv: 2608.14277v1 📥 PDF

作者: Haonan He, Haodi Lei, Yun Luo, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Shengji Tang, Zhilin Wang, Runzhe Zhan, Lei Bai, Ganqu Cui, Fangchen Yu, Yafu Li, Peng Ye, Ning Ding, Yu Cheng

分类: cs.CL, cs.AI

发布日期: 2026-08-14

💡 一句话要点

提出SimpleOPD以解决长上下文推理中的蒸馏挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 长上下文推理 推理能力转移 分词器对齐 KL损失 数学证明 模型训练 科学基准测试

📋 核心要点

  1. 现有的在线蒸馏方法在长上下文推理中面临多个挑战，如分词器不匹配和训练不稳定性。
  2. 本研究提出在共享文本空间中进行在线蒸馏，并引入学生参考KL损失以解决分布不匹配问题。
  3. 实验结果显示，Intern-S2-Preview在ProofBench上提升21.2分，超越了Gemini-2.5-Pro，表明该方法有效转移了推理能力。

📝 摘要（中文）

在本研究中，我们探讨了在长上下文推理教师与短上下文学生之间进行在线蒸馏（OPD）所面临的实际挑战，包括分词器不匹配、教师-学生分布不匹配、响应长度爆炸和训练不稳定性。我们通过在共享文本空间中执行OPD，并仅对占据相同文本跨度的标记进行对齐，来解决分词器差异问题。此外，我们引入了学生参考KL损失，并屏蔽特殊终止标记的优势，以防止学生过度偏离初始策略，从而减轻教师-学生分布不匹配问题并促进稳定的长度增长。实验结果表明，该方法在数学推理，尤其是自然语言数学证明方面取得了一致的提升。

🔬 方法详解

问题定义：本研究旨在解决在长上下文推理教师与短上下文学生模型之间进行在线蒸馏时的挑战，包括分词器不匹配和生成长度过长等问题。现有方法在处理这些问题时常常导致训练不稳定和性能下降。

核心思路：我们提出在共享文本空间中进行在线蒸馏，确保仅对齐占据相同文本跨度的标记，以解决分词器差异带来的问题。同时，通过引入学生参考KL损失，限制学生模型的偏离程度，从而减轻教师-学生分布不匹配的问题。

技术框架：整体架构包括教师模型和学生模型的对齐过程，首先在共享文本空间中进行标记对齐，然后通过KL损失进行训练，确保学生模型在生成过程中保持稳定的长度增长。

关键创新：本研究的主要创新在于提出了在共享文本空间中进行在线蒸馏的策略，并通过引入学生参考KL损失来有效控制生成长度和分布不匹配问题。这一方法与传统的蒸馏方法相比，显著提高了推理能力的转移效果。

关键设计：在损失函数设计上，我们引入了学生参考KL损失，并对特殊终止标记的优势进行了屏蔽处理。此外，模型的训练过程中采用了动态调整策略，以适应不同模型间的分布差异。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Intern-S2-Preview在ProofBench上提升21.2分，达到了55.2，超越了Gemini-2.5-Pro。此外，该方法在科学基准测试如HLE和HiPhO上也显示出显著提升，表明OPD能够有效转移推理能力，超越数学训练领域。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和自动化推理系统等。通过有效转移推理能力，SimpleOPD可以帮助短上下文模型在复杂任务中表现得更为出色，提升其在实际应用中的价值和影响力。

📄 摘要（原文）

On-policy distillation (OPD) offers a promising way to transfer reasoning capabilities from stronger teacher models, but applying it to long-context reasoning teachers and short-context students introduces practical challenges, including tokenizer mismatch, teacher-student distribution mismatch, response length explosion, and training instability. In this work, we study this setting by transferring proof-reasoning capabilities from the long-context reasoning model SU-01 to short-context student models. To handle tokenizer differences, we perform OPD in a shared text space and align only tokens that occupy identical text spans under the student and teacher tokenizers. To mitigate the problem of excessive generation length and frequent truncation, we introduce a student reference KL loss and mask the advantages of special termination tokens such as and <|im_end|>. This strategy constrains the student from drifting excessively from its initial policy, thereby mitigating the teacher-student distribution mismatch problem and fostering steady length growth. Experiments on both same-family and different-family student models, including Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4, show consistent gains in mathematical reasoning, especially natural-language math proving. Notably, Intern-S2-Preview improves by 21.2 points on ProofBench, reaching 55.2 and surpassing Gemini-2.5-Pro. It also improves on science benchmarks such as HLE and HiPhO, suggesting that OPD transfers reasoning capabilities that generalize beyond the mathematical training domain.