DemoPSD: Disagreement-Modulated Policy Self-Distillation

📄 arXiv: 2607.02502v1 📥 PDF

作者: Yunhe Li, Hao Shi, Wenhao Liu, Mengzhe Ruan, Hanxu Hou, Zhongxiang Dai, Shuang Qiu, Linqi Song

分类: cs.LG, cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出DemoPSD以解决信息泄露与探索能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线自蒸馏 信息泄露 探索能力 教师模型 学生模型 科学文本理解 问答系统

📋 核心要点

  1. 现有的在线自蒸馏方法存在特权信息泄露、过拟合和探索能力不足等问题。
  2. DemoPSD框架通过选择性采用教师指导，平衡教师与学生的学习，避免信息泄露。
  3. 在SciKnowEval的实验中，DemoPSD超越了GRPO和SDPO，展现了更好的泛化能力和训练熵。

📝 摘要（中文）

在现有的在线自蒸馏方法中，教师模型的密集标记级监督可能导致过拟合、抑制探索并影响跨领域泛化。为了解决这些问题，本文提出了DemoPSD框架，通过选择性采用教师指导，避免了特权信息泄露，并保持了学生模型的探索能力。DemoPSD通过引导学生朝向反向KL重心目标，平衡了从教师学习与保留学生自身推理能力的关系。实验结果表明，DemoPSD在多个科学领域的SciKnowEval上超越了GRPO和SDPO，同时保持了更高的训练熵，并在分布外GPQA基准上表现出良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决在线自蒸馏方法中教师模型的特权信息泄露问题，以及由此导致的过拟合和探索能力不足。现有方法在密集标记级监督下，学生模型容易学习到依赖于答案的捷径，影响其在测试时的表现。

核心思路：DemoPSD的核心思想是选择性地采用教师指导，而不是完全拟合教师分布。通过引导学生朝向反向KL重心目标，DemoPSD能够有效平衡从教师学习与保留学生自身推理能力。

技术框架：DemoPSD的整体架构包括教师模型和学生模型的分布比较，利用分布间的差异自适应地控制每个标记位置的混合程度。主要模块包括教师指导选择、分布差异测量和目标优化。

关键创新：DemoPSD的关键创新在于引入了反向KL重心目标，解决了特权信息泄露和探索能力不足的问题。这一设计与现有方法的本质区别在于不再依赖于教师的密集监督，而是通过动态调整学习策略来增强学生的推理能力。

关键设计：在技术细节上，DemoPSD采用了加权几何组合的方式来计算教师和学生分布的重心，并设计了相应的损失函数以优化学生模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SciKnowEval的实验中，DemoPSD显著超越了GRPO和SDPO，具体表现为在多个科学领域的任务中，训练熵更高，且在分布外GPQA基准上展现出更强的泛化能力，验证了其有效性和鲁棒性。

🎯 应用场景

DemoPSD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要模型推理和泛化能力的任务中，如科学文本理解、问答系统和知识图谱构建等。通过有效避免信息泄露，该方法能够提升模型在真实世界应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) has emerged as a practical method for training large language models (LLMs) to reason, where a single model acts as both the teacher and the student with different levels of information access. However, recent studies have found that the teacher's dense token-level supervision, conditioned on privileged information, can lead to overfitting to in-domain patterns, suppress exploration, and hurt cross-domain generalization, while also introducing a more fundamental issue: privileged information leakage, where the student encodes answer-dependent shortcuts that are unavailable at test time. We introduce DemoPSD, a novel framework that resolves such problems through the idea of selective adoption of teacher guidance. Instead of fitting the full teacher distribution, DemoPSD steers the student toward a reverse-KL barycenter target, a weighted geometric combination of the teacher and student distributions, that naturally balances learning from the teacher with preserving the student's own reasoning capacity. We measure the difference between their distributions and use such a discrepancy to adaptively control the blending at each token position. We provably show that DemoPSD achieves (1) leakage attenuation, i.e., effective mitigation of privileged information leakage; and (2) exploration preservation, i.e., preservation of exploration capacity under dense token-level distillation. Extensive experiments on SciKnowEval across four scientific fields show that DemoPSD outperforms both GRPO and SDPO while maintaining higher training entropy and robustly generalizing to out-of-distribution GPQA benchmarks.