DemoPSD: Disagreement-Modulated Policy Self-Distillation

📄 arXiv: 2607.02502 📥 PDF

作者: Yunhe Li, Hao Shi, Wenhao Liu, Mengzhe Ruan, Hanxu Hou, Zhongxiang Dai, Shuang Qiu, Linqi Song

分类: cs.LG, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出DemoPSD以解决特权信息泄露与探索能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线自蒸馏 特权信息泄露 探索能力 反向KL散度 知识蒸馏 自然语言处理 智能问答 科学研究

📋 核心要点

  1. 现有的在线自蒸馏方法存在特权信息泄露、过拟合及探索能力不足等问题。
  2. DemoPSD框架通过选择性地采用教师指导，避免了特权信息的泄露，并保持学生模型的推理能力。
  3. 在SciKnowEval的实验中，DemoPSD在多个科学领域的表现优于GRPO和SDPO，且训练熵更高，泛化能力更强。

📝 摘要（中文）

在现有的在线自蒸馏方法中，教师模型的密集标记级监督可能导致过拟合、抑制探索并影响跨领域泛化。为了解决这些问题，本文提出了DemoPSD框架，通过选择性采用教师指导，避免了特权信息泄露，并保持了学生模型的探索能力。DemoPSD通过引导学生朝向反向KL重心目标，平衡教师与学生的学习，实验结果表明该方法在多个科学领域的评估中优于现有方法，且在训练过程中保持了较高的熵值和良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决在线自蒸馏中教师模型的特权信息泄露问题，以及由此导致的过拟合和探索能力不足。现有方法在密集标记级监督下，学生模型可能学习到依赖于特权信息的捷径，影响其在测试时的表现。

核心思路：DemoPSD的核心思路是通过选择性采用教师的指导，避免学生模型过度依赖教师的分布。具体而言，DemoPSD引导学生模型朝向一个反向KL重心目标，这一目标是教师和学生分布的加权几何组合，旨在平衡教师的指导与学生自身的推理能力。

技术框架：DemoPSD的整体架构包括教师模型和学生模型的双重角色，采用反向KL散度作为目标，通过测量教师与学生分布之间的差异，动态调整每个标记位置的混合比例。该框架的主要模块包括教师指导选择、分布差异测量和动态混合控制。

关键创新：DemoPSD的主要创新在于其选择性采用教师指导的机制，显著降低了特权信息泄露的风险，并保持了学生模型的探索能力。这一方法与传统的在线自蒸馏方法相比，能够更有效地平衡教师与学生之间的学习关系。

关键设计：在DemoPSD中，采用了动态混合比例的设计，具体通过计算教师与学生分布的差异来调整每个标记的学习策略。此外，损失函数的设计也考虑了泄露抑制与探索能力的平衡，确保模型在训练过程中的稳定性与有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SciKnowEval的实验中，DemoPSD在四个科学领域的表现超越了GRPO和SDPO，且训练熵显著提高，表明其在保持模型探索能力的同时，能够有效地进行知识蒸馏。具体而言，DemoPSD在跨领域GPQA基准测试中展现出更强的泛化能力。

🎯 应用场景

DemoPSD的研究成果具有广泛的应用潜力，尤其在需要高效推理和泛化能力的领域，如自然语言处理、智能问答系统和科学研究等。通过有效地减少特权信息泄露，DemoPSD能够提升模型在真实场景中的表现，促进更智能的自动化决策和知识获取。

📄 摘要（原文）

On-policy self-distillation (OPSD) has emerged as a practical method for training large language models (LLMs) to reason, where a single model acts as both the teacher and the student with different levels of information access. However, recent studies have found that the teacher's dense token-level supervision, conditioned on privileged information, can lead to overfitting to in-domain patterns, suppress exploration, and hurt cross-domain generalization, while also introducing a more fundamental issue: privileged information leakage, where the student encodes answer-dependent shortcuts that are unavailable at test time. We introduce DemoPSD, a novel framework that resolves such problems through the idea of selective adoption of teacher guidance. Instead of fitting the full teacher distribution, DemoPSD steers the student toward a reverse-KL barycenter target, a weighted geometric combination of the teacher and student distributions, that naturally balances learning from the teacher with preserving the student's own reasoning capacity. We measure the difference between their distributions and use such a discrepancy to adaptively control the blending at each token position. We provably show that DemoPSD achieves (1) leakage attenuation, i.e., effective mitigation of privileged information leakage; and (2) exploration preservation, i.e., preservation of exploration capacity under dense token-level distillation. Extensive experiments on SciKnowEval across four scientific fields show that DemoPSD outperforms both GRPO and SDPO while maintaining higher training entropy and robustly generalizing to out-of-distribution GPQA benchmarks.