Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

📄 arXiv: 2607.01763 📥 PDF

作者: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

分类: cs.LG, cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出自蒸馏策略优化以解决持续后训练中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 自蒸馏 策略优化 模型适应性 知识保留

📋 核心要点

  1. 现有的自蒸馏方法在持续后训练中容易导致遗忘，尤其是在处理分布外数据时表现不佳。
  2. 论文提出自蒸馏策略优化（SDPO），旨在通过稳定的教师信号加速领域内专业化，同时探讨其在不同场景下的表现。
  3. 实验结果表明，SDPO在稳定的教师信号下能够加速学习，但在分布外场景中表现不佳，且遗忘现象更为严重。

📝 摘要（中文）

持续后训练使基础模型能够在保留现有能力的同时获取新知识。近期研究表明，基于策略的学习可以减轻遗忘，而自蒸馏策略优化（SDPO）作为一种新兴方法，能够加速领域内的专业化。然而，SDPO在处理分布外场景时表现不佳，并且在持续后训练中可能导致更强的遗忘甚至崩溃。实验结果显示，密集自蒸馏会在参数空间和响应空间中引入更大的漂移，并通过自我强化的教师-学生循环放大高频格式化伪影。这些发现表明，仅依靠基于策略的数据不足以实现持续学习。

🔬 方法详解

问题定义：本论文旨在解决持续后训练中自蒸馏方法导致的遗忘问题，尤其是在面对分布外数据时的挑战。现有方法在处理新知识时，往往无法有效保留已有能力，导致性能下降。

核心思路：论文提出自蒸馏策略优化（SDPO），通过利用稳定的教师信号来加速领域内的专业化，旨在提高模型在新任务上的适应能力，同时保持已有知识的完整性。

技术框架：SDPO的整体架构包括教师-学生模型的自蒸馏过程，主要模块包括教师信号生成、学生模型训练和反馈循环。教师模型提供稳定的信号以指导学生模型的学习，形成一个自我强化的学习循环。

关键创新：论文的主要创新在于揭示了密集自蒸馏在参数空间和响应空间中引入的漂移现象，以及其对高频格式化伪影的放大效应。这与传统的自蒸馏方法形成鲜明对比，后者通常未考虑这些潜在的负面影响。

关键设计：在实验中，论文对教师信号的稳定性和令牌级监督的可靠性进行了详细分析，提出了相应的参数设置和损失函数设计，以确保在特定条件下实现有效的学习和专业化。

📊 实验亮点

实验结果显示，自蒸馏策略优化（SDPO）在稳定教师信号下能够加速领域内专业化，但在分布外场景中遗忘现象显著增强。与传统的基于策略的强化学习方法相比，SDPO的适应性较差，且在某些情况下甚至导致模型崩溃。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和机器人等领域，尤其是在需要持续学习和适应新任务的场景中。通过改进自蒸馏策略，模型能够更好地保留已有知识，同时快速适应新环境，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available atthis https URL.