One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
作者: Justin Robert, Raheel Qader
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-08-26
备注: 30 pages, 4 figures. Survey / critical review
💡 一句话要点
提出自蒸馏方法以解决模型推理路径收敛问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 语言模型 推理路径 强化学习 模型训练 特权信息 信号动态
📋 核心要点
- 现有的在政策蒸馏方法需要一个更大的教师模型，增加了训练成本。
- 论文提出通过自蒸馏，利用自身生成的结果作为教师，消除对外部教师模型的依赖。
- 尽管早期结果显示出良好的性能，但模型推理路径的收敛问题仍然是一个主要挑战。
📝 摘要（中文）
论文对在政策自蒸馏（OPSD）进行批判性回顾，探讨了其在语言模型训练中的应用。OPSD通过使用自身生成的结果作为教师，消除了对大型教师模型的需求。尽管早期结果显示其准确性与强化学习相当，但模型推理路径的收敛问题成为主要挑战。论文将收敛视为由三个因素控制的症状：信号应用位置、教师展示的信息性质以及信号变化的时机。该研究为不同文献中命名的现象提供了共享词汇，并明确了已解决与仍有争议的问题。
🔬 方法详解
问题定义：论文要解决的问题是现有在政策蒸馏方法中对大型教师模型的依赖，以及模型推理路径收敛的问题。现有方法在训练过程中容易导致模型生成的推理路径逐渐收窄。
核心思路：论文的核心思路是通过自蒸馏来消除对外部教师模型的需求，教师模型由学生模型自身构成，利用特权信息进行训练。这样设计的目的是为了降低训练成本，同时保持模型性能。
技术框架：整体架构包括三个主要模块：学生模型生成结果、教师模型评分生成结果、以及信号应用的动态调整。教师模型使用特权信息来指导学生模型的学习过程。
关键创新：最重要的技术创新点在于将教师模型与学生模型合并，利用自身生成的结果进行自我指导，从而消除了对外部教师的需求。这种方法在理论上与传统的蒸馏方法有本质区别。
关键设计：关键设计包括信号应用的位置、教师展示的信息类型以及信号变化的时机。这些设计决定了模型的学习效果和推理路径的多样性。
🖼️ 关键图片
📊 实验亮点
论文未进行新实验，但总结了现有方法的性能，指出早期结果显示OPSD在准确性上与强化学习相当，且生成的标记数量显著减少。然而，模型推理路径的收敛问题仍然是一个主要挑战，影响了模型的多样性和灵活性。
🎯 应用场景
该研究的潜在应用场景包括自然语言处理中的对话系统、文本生成和自动问答等领域。通过优化模型的自蒸馏过程，可以提高模型的推理能力和生成质量，进而提升用户体验。未来，该方法可能在更广泛的机器学习任务中得到应用，推动自监督学习的发展。
📄 摘要（原文）
On-policy distillation trains a language model on its own generations while a teacher scores them token by token. It combines the dense supervision of imitation learning with the on-policy sampling of reinforcement learning. But it requires a second, larger model to act as teacher. On-Policy Self-Distillation (OPSD) removes that cost. The teacher is the model itself, conditioned on privileged information the student will not have at test time, such as a reference solution, a plan, or environment feedback. The teacher is no stronger than the student, only better informed. Early results were promising, with accuracy comparable to reinforcement learning at a fraction of the generated tokens. But the same asymmetry that produces the signal also biases it. One failure mode now dominates the field: collapse, the progressive narrowing of the set of reasoning paths the model can produce. Collapse is not specific to OPSD, though privileged information aggravates it. This review treats collapse as a symptom governed by three levers: (i) where the signal is applied, that is, how tokens are weighted; (ii) what the teacher is shown, that is, the nature of the privileged information; and (iii) when the signal changes, that is, the teacher's dynamics and the decay of guidance. We restrict our scope to mathematical reasoning, where the method originated and where its failure modes are best documented. We report no new experiments. The contribution is structural: a shared vocabulary for phenomena named differently across papers, and a clear line between what is settled and what is still disputed.