Purified OPSD: On-Policy Self-Distillation Without Losing How to Think
作者: Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye
分类: cs.AI, cs.LG
发布日期: 2026-07-02
💡 一句话要点
提出Purified OPSD以解决长链推理模型的自我蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长链推理 自我蒸馏 点对点互信息 模型性能提升 自然语言处理
📋 核心要点
- 现有的OPSD方法在长链推理模型上表现不佳，导致模型的反思推理能力受到影响。
- 本文提出通过构建仅基于参考的教师模型和使用PMI机制来改进监督信号，从而提高模型的推理能力。
- 实验结果显示，所提方法在多个长链推理模型上均优于基线模型和标准OPSD，且训练过程中保持了模型的认知行为。
📝 摘要（中文）
在现有的在政策自我蒸馏（OPSD）方法中，教师模型通过参考解为学生提供逐步监督，但在长链推理模型上效果不佳，导致反思推理能力的下降。本文通过对教师监督信号的分解，识别出问题根源，并提出了一种两步解决方案：构建仅基于参考的教师模型以隔离不可转移的监督成分，并利用点对点互信息（PMI）将残差转化为可蒸馏的目标分布。实验表明，该方法在多个长链推理模型上均取得了显著提升，同时保持了模型的自然认知行为。
🔬 方法详解
问题定义：本文旨在解决在长链推理模型中，现有的OPSD方法因教师监督信号的参考诱导成分而导致的性能下降和反思推理能力的丧失。
核心思路：通过构建一个仅基于参考的教师模型，隔离不可转移的监督成分，并利用PMI机制将残差转化为可蒸馏的目标分布，从而提升模型的推理能力。
技术框架：整体流程包括两个主要阶段：第一阶段构建参考教师模型以提取非转移成分，第二阶段利用PMI将残差转化为目标分布供学生模型蒸馏。
关键创新：最重要的创新在于通过分解教师监督信号，识别并隔离出参考诱导成分，从而避免了模型的死记硬背，提升了推理能力。
关键设计：在设计中，采用了特定的损失函数来优化PMI目标分布，并确保教师模型与学生模型之间的有效信息传递。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的Purified OPSD方法在四个长链推理模型上均取得了显著的性能提升，相较于基线模型和标准OPSD，提升幅度达到了X%（具体数据待补充），同时保持了模型的自然认知行为。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂推理任务等。通过提升长链推理模型的性能，能够在实际应用中更好地支持复杂问题的解答，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy self-distillation (OPSD) has emerged as a promising paradigm for improving LLM reasoning, where a privileged teacher with access to reference solutions provides token-level supervision on the student's own generated trajectories. However, we find that OPSD consistently fails on long chain-of-thought (long-CoT) reasoning models, yielding at best marginal gains while destabilizing the reflective reasoning capability these models depend on. Through a novel decomposition of the teacher's supervision signal, we identify the root cause: the teacher's supervision is dominated by a reference-induced component that drives rote memorization of reference-specific shortcuts, while the question-conditioned, inference-transferable component is ignored or actively opposed. Based on this diagnosis, we propose a two-step solution. First, we construct a reference-only teacher (the same model conditioned on the reference without the question) to isolate the non-transferable component of the supervision signal; the residual after subtracting this component captures the question-conditioned, inference-transferable correction. Second, we use pointwise mutual information (PMI) as the mechanism to transform this residual into a well-formed PMI target distribution that the student can directly distill from, filtering out the reference-induced shortcut. Experiments on four long-CoT models across two datasets demonstrate consistent improvements over both the base model and standard OPSD, while preserving the models' natural epistemic behavior throughout training.