Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

📄 arXiv: 2607.01763v1 📥 PDF

作者: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

分类: cs.LG, cs.CL

发布日期: 2026-07-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出自蒸馏策略优化以解决持续后训练中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 自蒸馏 策略优化 模型遗忘 高频伪影 强化学习 领域专业化

📋 核心要点

  1. 现有的自蒸馏方法在持续后训练中容易导致模型遗忘和崩溃，尤其是在面对分布外数据时表现不佳。
  2. 论文提出自蒸馏策略优化（SDPO），旨在通过稳定的教师信号加速领域内专业化，同时探讨其在持续学习中的局限性。
  3. 实验结果表明，SDPO在教师目标稳定时能加速专业化，但在其他情况下表现不如保守的强化学习方法，如GRPO。

📝 摘要（中文）

持续后训练使基础模型在保留现有能力的同时获取新知识。近期研究表明，基于策略的学习可以减轻遗忘，而自蒸馏策略优化（SDPO）作为一种新兴方法，能够加速领域内的专业化。然而，SDPO在分布外场景中的泛化能力较弱，并且在持续后训练中表现出更强的遗忘现象，甚至可能导致模型崩溃。进一步分析表明，密集的自蒸馏会在参数空间和响应空间中引入更大的漂移，并通过自我强化的教师-学生循环放大高频格式化伪影。这些发现表明，仅依赖基于策略的数据不足以实现持续学习。

🔬 方法详解

问题定义：本论文旨在解决持续后训练中模型遗忘和崩溃的问题。现有的自蒸馏方法在处理分布外数据时表现不佳，导致模型能力下降。

核心思路：论文提出自蒸馏策略优化（SDPO），通过稳定的教师信号来加速领域内的专业化，强调在教师目标稳定时的有效性。

技术框架：SDPO的整体架构包括教师-学生模型的循环训练过程，教师模型提供稳定的信号以指导学生模型的学习。主要模块包括教师模型的训练、学生模型的更新以及蒸馏损失的计算。

关键创新：最重要的创新点在于揭示了密集自蒸馏在参数空间和响应空间中引入的漂移现象，以及其对高频伪影的放大效应。这与传统的自蒸馏方法形成鲜明对比。

关键设计：在设计中，论文采用了特定的损失函数来平衡教师和学生模型的学习过程，并通过实验验证了不同参数设置对模型性能的影响。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，SDPO在教师信号稳定时能显著加速专业化，但在面对分布外数据时表现出更强的遗忘，甚至导致模型崩溃。与传统的GRPO方法相比，SDPO在某些情况下的性能提升幅度有限，强调了教师信号的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要持续学习的任务。通过优化自蒸馏策略，可以在动态环境中更好地保持模型的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.