Learning from the Self-future: On-policy Self-distillation for dLLMs

📄 arXiv: 2606.18195v1 📥 PDF

作者: Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu

分类: cs.CL

发布日期: 2026-06-16

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出d-OPSD以解决扩散大语言模型的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 自蒸馏 在线自蒸馏 自生成答案 去噪过程

📋 核心要点

  1. 现有的在线自蒸馏方法主要针对自回归模型，无法有效应用于扩散大语言模型，导致信息利用不充分。
  2. 我们提出d-OPSD框架，通过自生成答案作为后缀条件，帮助学生模型学习自我未来经验，解决了信息注入的冲突问题。
  3. 实验结果显示，d-OPSD在多个推理基准上超越了RLVR和SFT基线，样本效率显著提升，优化步骤减少至约10%。

📝 摘要（中文）

在后训练大语言模型（LLMs）中，在线自蒸馏（OPSD）已被证明有效，但其在扩散大语言模型（dLLMs）中的应用尚未探索。现有的OPSD方法主要集中于自回归模型，通过左到右的前缀条件注入特权信息，这与dLLMs的任意顺序生成存在根本冲突。我们提出了d-OPSD，这是首个专为dLLMs量身定制的OPSD框架。我们的研究主要贡献包括：使用自生成答案作为后缀条件，构建自教师，使学生模型能够学习“自我未来经验”；将监督从token级别转移到step级别，使训练与dLLMs的迭代去噪过程对齐。实验结果表明，d-OPSD在四个推理基准上均优于RLVR和SFT基线，样本效率显著提升，仅需约10%的优化步骤，展现了dLLM后训练的良好前景。

🔬 方法详解

问题定义：现有的在线自蒸馏方法主要针对自回归模型，无法有效应用于扩散大语言模型（dLLMs），导致信息利用不充分，且与dLLMs的任意顺序生成存在根本冲突。

核心思路：我们提出d-OPSD框架，通过使用自生成答案作为后缀条件，构建自教师，使学生模型能够学习“自我未来经验”，而非依赖特权前缀，从而解决信息注入的冲突问题。

技术框架：d-OPSD框架包括两个主要模块：自教师构建模块和监督对齐模块。自教师构建模块负责生成自我答案并作为后缀条件，而监督对齐模块则将训练过程从token级别转移到step级别，以适应dLLMs的迭代去噪过程。

关键创新：d-OPSD的核心创新在于重新定义自教师的构建方式，利用自生成答案作为后缀条件，并将监督方式从token级别转移到step级别，这与现有方法的设计理念有本质区别。

关键设计：在参数设置上，我们优化了后缀条件的生成过程，并设计了适应dLLMs的损失函数，确保训练过程与去噪迭代相一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，d-OPSD在四个推理基准上均优于RLVR和SFT基线，样本效率显著提升，优化步骤减少至约10%。这一结果展示了d-OPSD在扩散大语言模型后训练中的有效性，为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提升扩散大语言模型的后训练效果，d-OPSD能够在实际应用中提高模型的生成质量和效率，推动智能对话和内容创作等领域的发展。

📄 摘要（原文）

On-policy self-distillation (OPSD) has proven effective for post-training large language models (LLMs), yet its application to diffusion LLMs (dLLMs) remains unexplored. Existing OPSD methods are inherently autoregressive-centric. They inject privileged information via left-to-right prefix conditioning with token-level divergence supervision, a design that fundamentally conflicts with the arbitraryorder generation of dLLMs. We introduce d-OPSD, the first OPSD framework tailored for dLLMs. Our approach makes two core contributions. First, we reframe self-teacher construction by using self-generated answers as suffix conditioning, enabling the student model to learn from "self future-experience" rather than privileged prefixes. Second, we shift supervision from token-level to step-level, aligning training with the iterative denoising process of dLLMs. Experiments across four reasoning benchmarks show that d-OPSD consistently outperforms RLVR and SFT baselines with superior sample efficiency, requiring only around 10% of the optimization steps by RLVR and opening a promising pathway for dLLM posttraining. The code is available at https://github.com/xingzhejun/d-OPSD.