SR-OPSD: Self-Referenced On-Policy Self-Distillation
作者: Zhuo Sun, Entong Li, Yanlong Zhao, Xiaoyuan Cheng, Wenxuan Yuan, Kaiyu Li, Che Liu, Huihang Liu, Harrison Bo Hua Zhu, Li Zeng
分类: cs.LG, cs.AI, stat.ML
发布日期: 2026-08-10
💡 一句话要点
提出SR-OPSD以解决现有自蒸馏方法的不稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线自蒸馏 强化学习 变分推断 Rényi散度 语言模型 优化稳定性 深度学习
📋 核心要点
- 现有的在线自蒸馏方法在动态目标匹配时容易导致优化不稳定，影响学习效果。
- SR-OPSD通过固定上下文生成有效的蒸馏目标，并引入Rényi散度来改进投影几何。
- 在科学评估、数学推理和代码生成任务中，SR-OPSD在多个大型语言模型上表现出色，达到了最先进的性能。
📝 摘要（中文）
在策略优化中，现有的在线自蒸馏方法（OPSD）通过将反馈转化为密集的标记级监督来补充稀疏的强化学习奖励。然而，OPSD中的自教师策略通常是基于额外上下文信息的停止梯度或指数移动平均副本，导致与学生策略及其上下文分布共同演化。直接匹配这样的动态目标可能导致优化不稳定或分布集中过度。为此，本文提出了自参考在线自蒸馏（SR-OPSD），通过固定的学生生成上下文，利用变分特征识别有效的蒸馏目标，并使用Rényi散度族来推广投影几何。实验表明，SR-OPSD在多个大型语言模型上实现了最先进或具有竞争力的性能。
🔬 方法详解
问题定义：论文要解决的问题是现有在线自蒸馏方法（OPSD）在动态目标匹配时导致的优化不稳定性和分布集中问题。现有方法通常依赖于停止梯度或移动平均的自教师策略，难以有效地进行目标匹配。
核心思路：SR-OPSD的核心思路是通过固定的学生生成上下文，利用变分特征来识别有效的蒸馏目标，并通过Rényi散度来推广投影几何，从而实现更稳定的优化过程。
技术框架：SR-OPSD的整体架构包括两个主要模块：自教师策略生成和目标蒸馏。首先，生成固定的上下文，然后通过变分方法识别蒸馏目标，最后利用Rényi散度进行投影。
关键创新：SR-OPSD的关键创新在于将蒸馏目标的有效性与投影几何分离，使得目标的适应性与学生的投影方式可以独立控制。这一设计显著提高了优化的稳定性和效果。
关键设计：在参数设置上，SR-OPSD引入了插值系数来控制目标的适应性，同时使用Rényi散度的不同阶数来调节投影几何的敏感性，确保了在标记级密度比率下的有效学习。
🖼️ 关键图片
📊 实验亮点
在多个大型语言模型的实验中，SR-OPSD在科学评估、数学推理和代码生成任务上均实现了最先进的性能，超越了现有基线，展示了显著的提升幅度，具体性能数据未详述。
🎯 应用场景
SR-OPSD的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、机器人控制和智能决策系统等。通过提供更稳定的自蒸馏机制，该方法能够提升模型在复杂任务中的表现，推动智能系统的进一步发展与应用。
📄 摘要（原文）
On-policy self-distillation (OPSD) converts feedback into dense token-level supervision on trajectories generated by the policy to be optimized, providing a useful complement to reinforcement learning with sparse outcome rewards. However, the self-teacher policy used in OPSD is typically a stop-gradient or exponential-moving-average copy of the policy conditioned on additional context information, and thus co-evolves with both the student policy and its on-policy context distribution. Directly matching such a moving target with a fixed projection objective can lead to unstable optimization or excessive distributional concentration. This nature of OPSD motivates the proposed \emph{Self-Referenced On-Policy Self-Distillation (SR-OPSD)}. At fixed student-generated contexts, a token-level variational characterization identifies the effective distillation target as a geometric interpolation between the self-teacher policy and a reference policy. Meanwhile, we use the Rényi divergence family to generalize the projection geometry. This formulation separates \emph{where} the adaptive target is placed from \emph{how} the student is projected toward it: the interpolation coefficient controls underlying target, while the Rényi order controls the projection geometry and its sensitivity to token-level density ratios. Extensive experiments across scientific evaluation, mathematical reasoning, and coding generation tasks with multiple large language models show that SR-OPSD achieves the state-of-the-art or competitive performance across various settings.