DOPD: Dual On-policy Distillation
作者: Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan
分类: cs.AI
发布日期: 2026-06-29
💡 一句话要点
提出DOPD以解决蒸馏过程中的特权幻觉问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线蒸馏 特权幻觉 双重蒸馏 动态监督 模型训练 知识迁移 计算机视觉 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法在特权信息的使用上存在特权幻觉问题，导致学生模型难以有效学习。
- DOPD通过动态调整token级监督，结合特权教师和学生策略，旨在缓解特权幻觉并提升蒸馏效果。
- 实验结果显示，DOPD在多个任务上均优于传统在线蒸馏方法，表现出更好的稳定性和鲁棒性。
📝 摘要（中文）
论文提出了一种双重在线蒸馏方法DOPD，通过动态路由特权教师和特权学生策略之间的token级监督，解决了现有在线蒸馏方法中存在的特权幻觉问题。特权幻觉是指在蒸馏过程中，学生模型可能会混淆可转移能力差距与信息不对称差距。DOPD通过为每个token提供不同强度和目标的监督，显著提升了蒸馏性能。实验结果表明，DOPD在大语言模型和视觉语言模型设置下均优于传统在线蒸馏方法及其他对比方法。
🔬 方法详解
问题定义：论文要解决的问题是现有在线蒸馏方法中存在的特权幻觉现象，导致学生模型在学习过程中混淆可转移能力与信息不对称。现有方法在token级监督上存在非均匀性，只有少数token携带重要信号。
核心思路：DOPD的核心思路是通过动态路由特权教师和特权学生策略之间的token级监督，针对每个token提供不同的监督强度和目标，从而有效转移能力并减轻特权幻觉。
技术框架：DOPD的整体架构包括特权教师和特权学生两个主要模块，动态评估它们之间的优势差距和相对概率，以决定每个token的监督来源。
关键创新：DOPD的关键创新在于其优势感知的双重蒸馏范式，通过动态调整监督来源，解决了传统方法中存在的特权幻觉问题，显著提升了蒸馏效果。
关键设计：在DOPD中，设计了不同强度的损失函数，以适应不同token的特性，同时引入了相对概率的评估机制，以优化监督策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DOPD在多个基准任务上均显著优于传统在线蒸馏方法，尤其在大语言模型和视觉语言模型设置下，性能提升幅度达到10%以上，展现出更好的稳定性和鲁棒性。
🎯 应用场景
DOPD方法在大语言模型和视觉语言模型的蒸馏任务中具有广泛的应用潜力，能够提升模型的学习效率和性能，适用于自然语言处理、计算机视觉等多个领域。未来，该方法可能推动更高效的模型训练和知识迁移技术的发展。
📄 摘要（原文）
On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.