Purified OPSD: On-Policy Self-Distillation Without Losing How to Think

📄 arXiv: 2607.02234 📥 PDF

作者: Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye

分类: cs.AI, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出Purified OPSD以解决长链推理模型的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长链推理 自蒸馏 点对点互信息 监督信号 模型性能提升

📋 核心要点

  1. 现有的在政策自蒸馏方法在长链推理模型上表现不佳，导致反思推理能力的不稳定。
  2. 论文提出通过构建仅依赖参考的教师模型和使用PMI机制来改善监督信号的质量。
  3. 实验结果显示，该方法在多个长链推理模型上均实现了显著的性能提升，超越了基线模型和标准OPSD。

📝 摘要（中文）

在现有的在政策自蒸馏（OPSD）方法中，教师模型通过参考解为学生模型提供逐步监督。然而，研究发现该方法在长链推理模型上效果不佳，导致反思推理能力的不稳定。通过对教师监督信号的分解，识别出问题根源在于参考引导的成分主导了监督信号，导致学生模型学习到特定参考的记忆性捷径。为此，论文提出了一种两步解决方案：首先构建一个仅依赖参考的教师模型，以隔离不可转移的监督成分；其次使用点对点互信息（PMI）将残差转化为学生可以直接蒸馏的目标分布。实验表明，该方法在四个长链推理模型上均取得了显著提升。

🔬 方法详解

问题定义：论文旨在解决在政策自蒸馏（OPSD）方法在长链推理模型上的效果不佳问题，现有方法导致模型学习到特定参考的捷径，影响反思推理能力。

核心思路：通过分解教师模型的监督信号，识别出参考引导成分的主导作用，提出构建仅依赖参考的教师模型来隔离不可转移的监督成分，并利用PMI机制提取有效的监督信号。

技术框架：整体流程包括两个主要阶段：首先构建参考教师模型以获取非转移成分，其次通过PMI将残差转化为目标分布供学生模型蒸馏。

关键创新：最重要的创新在于通过分解教师的监督信号，识别并隔离出影响模型学习的非转移成分，从而有效提升了长链推理模型的性能。

关键设计：在设计中，采用了参考教师模型和PMI机制，确保学生模型能够从有效的监督信号中学习，避免了参考引导的捷径影响。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Purified OPSD方法的长链推理模型在多个数据集上均实现了显著提升，相较于基线模型和标准OPSD，性能提升幅度达到X%（具体数据待补充），有效保持了模型的自然认知行为。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的推理任务、对话系统和智能问答等。通过提升长链推理模型的性能，能够在实际应用中提供更准确的推理和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) has emerged as a promising paradigm for improving LLM reasoning, where a privileged teacher with access to reference solutions provides token-level supervision on the student's own generated trajectories. However, we find that OPSD consistently fails on long chain-of-thought (long-CoT) reasoning models, yielding at best marginal gains while destabilizing the reflective reasoning capability these models depend on. Through a novel decomposition of the teacher's supervision signal, we identify the root cause: the teacher's supervision is dominated by a reference-induced component that drives rote memorization of reference-specific shortcuts, while the question-conditioned, inference-transferable component is ignored or actively opposed. Based on this diagnosis, we propose a two-step solution. First, we construct a reference-only teacher (the same model conditioned on the reference without the question) to isolate the non-transferable component of the supervision signal; the residual after subtracting this component captures the question-conditioned, inference-transferable correction. Second, we use pointwise mutual information (PMI) as the mechanism to transform this residual into a well-formed PMI target distribution that the student can directly distill from, filtering out the reference-induced shortcut. Experiments on four long-CoT models across two datasets demonstrate consistent improvements over both the base model and standard OPSD, while preserving the models' natural epistemic behavior throughout training.