SelFusion: Self-distillation for Diffusion Language Models
作者: Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon
分类: cs.CL
发布日期: 2026-08-24
备注: Published as a main conference paper at ACL 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出SelFusion以解决扩散语言模型生成质量问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散语言模型 自蒸馏 知识蒸馏 生成质量 自然语言处理
📋 核心要点
- 现有的扩散语言模型在生成质量上存在不足，限制了其实际应用。
- 论文提出的SelFusion框架通过自蒸馏机制，利用不同掩码水平进行有效的知识传递。
- 实验结果显示，SelFusion在多个任务上显著提升了生成质量，超越了传统的KD方法。
📝 摘要（中文）
扩散语言模型（DLMs）缓解了自回归大型语言模型（LLMs）固有的延迟瓶颈，但其生成质量下降限制了实际应用。尽管知识蒸馏（KD）被认为是提升性能的有前景方向，但我们发现简单应用传统KD仅能带来微小提升，甚至可能降低生成质量。基于此，我们提出了一种新颖的自蒸馏框架SelFusion。该框架通过不同的掩码水平进行两次前向传播，定义了具有较大掩码概率的困难模式和具有较小掩码概率的简单模式。我们引入了双向KD，根据令牌级别的正确性动态确定蒸馏方向。实验结果表明，SelFusion在遵循指令的任务上显著优于其他使用外部LLM和DLM教师的KD方法。许多配置下，使用SelFusion训练的学生模型甚至超越了LLM教师的性能，为提升DLM生成质量提供了实际路径。
🔬 方法详解
问题定义：本论文旨在解决扩散语言模型在生成质量上的不足，现有的知识蒸馏方法在应用于DLM时效果不佳，甚至可能导致生成质量下降。
核心思路：提出的SelFusion框架通过自蒸馏机制，利用不同的掩码概率进行两次前向传播，定义困难模式和简单模式，以实现更有效的知识传递。
技术框架：SelFusion的整体架构包括两个主要阶段：首先进行困难模式的前向传播，然后进行简单模式的前向传播，最后通过双向KD动态调整蒸馏方向。
关键创新：最重要的创新在于引入了双向KD机制，能够根据令牌的正确性动态决定蒸馏方向，这一设计与传统的单向KD方法本质上有所不同。
关键设计：在模型训练中，设置了不同的掩码概率以定义困难和简单模式，并设计了相应的损失函数以优化双向KD的效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用SelFusion训练的模型在多个指令遵循任务上显著优于其他知识蒸馏方法，尤其是在某些配置下，学生模型的性能甚至超越了LLM教师，展示了高达XX%的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及指令跟随任务。通过提升扩散语言模型的生成质量，SelFusion有望在实际应用中提供更流畅和准确的语言生成能力，推动智能助手和自动化内容生成的发展。
📄 摘要（原文）
Diffusion language models (DLMs) alleviate the inherent latency bottleneck of autoregressive (AR) large language models (LLMs), but their degraded generation quality limits practical applicability. Although knowledge distillation (KD) can be a promising direction for improving performance, we empirically find that naively applying conventional KD yields only marginal gains, or even degrades generation quality. Based on these observations, we propose a novel self-distillation framework for DLMs, namely SelFusion. To enable effective KD without an external teacher model, SelFusion performs two forward passes with different masking levels, defining the hard mode with a larger masking probability and the easy mode with a smaller masking probability. However, the easy mode is not always more accurate than the hard mode and can be overconfident on incorrect tokens. Thus, we introduce bidirectional KD between the two modes, which can dynamically determine the distillation direction based on token-level correctness. Experimental results on instruction-following tasks show that the proposed self-distillation substantially outperforms other KD methods with external LLM and DLM teachers. In many configurations, the student trained with SelFusion even surpasses the performance of the LLM teacher, providing a practical path toward improving DLM generation quality. Source code can be found at https://github.com/scai-research/SelFusion_official