On-Policy Self-Distillation without Any Supervision

📄 arXiv: 2608.06296v1 📥 PDF

作者: Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

分类: cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出无监督的在线自蒸馏方法以提升模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 无监督学习 语言模型 模型优化 机器学习

📋 核心要点

  1. 现有的在线自蒸馏方法依赖外部监督信号，限制了其自我修正能力和应用范围。
  2. 论文提出无监督在线自蒸馏（U-OPSD），通过模型自身生成的内容实现自我修正，避免外部依赖。
  3. U-OPSD在多个基准测试中表现出色，提升幅度达到8.5%至10.7%，并在思考模式下与现有方法持平或超越。

📝 摘要（中文）

在线自蒸馏（OPD / OPSD）在后训练的大型语言模型（LLMs）中展现出强大的潜力。然而，现有方法依赖外部监督信号，未能实现真正的自蒸馏。本研究提出无监督在线自蒸馏（U-OPSD），通过模型自身生成的内容实现自我修正。U-OPSD首先进行多次回滚采样，并在自一致性阈值下通过多数投票构建伪解。然后，基于最短伪解条件化教师分布，并将其蒸馏到模型最长的错误完成前缀中，从而精确纠正模型自信错误的地方。实验表明，U-OPSD在多个基准测试中均优于基础模型，并在某些情况下超过了依赖真实标签的监督方法。

🔬 方法详解

问题定义：本研究旨在解决现有在线自蒸馏方法对外部监督信号的依赖，这限制了模型的自我修正能力。现有方法无法实现真正的自蒸馏，导致性能提升受限。

核心思路：论文提出无监督在线自蒸馏（U-OPSD），通过模型自身生成的内容实现自我修正。该方法利用内部一致性来构建伪解，从而减少对外部监督的需求。

技术框架：U-OPSD的整体流程包括多个阶段：首先进行多次回滚采样，然后在自一致性阈值下通过多数投票构建伪解，接着基于最短伪解条件化教师分布，最后将其蒸馏到模型最长的错误完成前缀中。

关键创新：U-OPSD的核心创新在于完全依赖模型自身生成的内容进行自蒸馏，避免了对外部监督的依赖。这一设计使得模型能够在自信错误的地方进行精确修正。

关键设计：在U-OPSD中，关键参数包括自一致性阈值的设置和伪解的构建方式。此外，损失函数的设计也确保了模型能够有效地从自身生成的内容中学习。整体网络结构保持与基础模型一致，但通过蒸馏过程增强了模型的自我纠错能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

U-OPSD在多个基准测试中表现优异，尤其在AIME24、AIME25、HMMT25等数据集上，提升幅度达到8.5%和10.7%。在思考模式下，U-OPSD与OPSD持平，甚至在4B规模上超越了OPSD 0.9%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动文本生成等。通过无监督的自蒸馏方法，模型能够在缺乏标注数据的情况下持续提升性能，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更高效的模型训练和部署，降低对人工标注的依赖。

📄 摘要（原文）

On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation. In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose Unsupervised On-Policy Self-Distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo-solution by majority vote under a self-consistency threshold. It then conditions a teacher distribution on the shortest pseudo-solution and distills it into prefixes of the model's longest incorrect completion, allowing the model to correct itself precisely where it is confidently wrong. Across diverse benchmarks, base models, and training settings, U-OPSD consistently improves over the base models and matches or surpasses supervised methods with ground truth (GT), such as OPSD and GRPO. On AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at the 4B and 8B scales, respectively, and outperforms OPSD by an average of 3.2% and 2.3%. In thinking mode, U-OPSD remains on par with OPSD, outperforming it by 0.9% at 4B and matching it at 8B, while surpassing GRPO by 0.7% and 1.1%, respectively.