Bidirectional Centered Score Matching for Discrete Diffusion Distillation

📄 arXiv: 2611.04279v1 📥 PDF

作者: Peng Tu, Baoyou Chen, Haoyuan Xia, Zilong Dong, Weihao Yuan, Siyu Zhu

分类: cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出双向中心评分匹配以优化离散扩散蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离散扩散模型 蒸馏训练 双向中心评分匹配 计算效率 模型优化

📋 核心要点

  1. 现有的基于令牌的KL蒸馏方法在激进的少步蒸馏中可能提供不足的监督，导致性能下降。
  2. 论文提出双向中心评分匹配（BCSM），通过构建双向活跃集和减少成对比较复杂度来优化蒸馏过程。
  3. 实验结果显示，BCSM在单步推理中实现了高达$6 imes$的NFE减少，同时在HumanEval和MMMU上分别获得了16.9 ext{%}和15.1 ext{%}的提升。

📝 摘要（中文）

离散扩散模型的并行解码通常使用基于令牌的KL目标进行蒸馏。尽管这种方法能精确匹配相应的产品形式块分布，但其概率空间优化几何和仅教师候选截断可能在激进的少步蒸馏下提供不足的监督。具体评分匹配（CSM）通过对齐相对对数几何提供了一种替代的目标，但其完整的成对形式导致了$ ext{O}(| ext{V}|^2)$的复杂度。我们提出了双向中心评分匹配（BCSM），这是一种高效的目标，构建了$ ext{O}(K)$的双向活跃集，将成对比较减少到$ ext{O}(K^2)$，并将其分解为$ ext{O}(K)$的目标。此外，我们还引入了跨时间步的转移对齐。实验表明，在质量与效率之间实现了良好的权衡，包括在单步推理中实现了高达$6 imes$的NFE减少和16.9 ext{%}的相对HumanEval提升。

🔬 方法详解

问题定义：本论文旨在解决离散扩散模型蒸馏过程中，现有基于令牌的KL目标在监督不足时导致的性能问题。现有方法在激进的少步蒸馏下，可能无法有效捕捉模型的真实分布特征。

核心思路：提出双向中心评分匹配（BCSM），通过构建一个双向活跃集来优化蒸馏过程，减少成对比较的复杂度，从而提高蒸馏效率和效果。

技术框架：BCSM的整体架构包括构建双向活跃集、进行成对比较的简化以及引入跨时间步的转移对齐。该框架旨在在保持模型性能的同时，降低计算复杂度。

关键创新：BCSM的主要创新在于其将成对比较的复杂度从$ ext{O}(| ext{V}|^2)$降低到$ ext{O}(K^2)$，并进一步分解为$ ext{O}(K)$的目标，这一设计显著提升了蒸馏的效率。

关键设计：在BCSM中，关键参数包括双向活跃集的构建策略和损失函数的设计，确保在蒸馏过程中有效对齐模型的输出与目标分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BCSM在单步推理中实现了高达$6 imes$的NFE减少，同时在HumanEval上获得了16.9 ext{%}的相对提升，在MMMU上获得了15.1 ext{%}的相对提升，展示了其在质量与效率之间的良好平衡。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要高效模型蒸馏的场景。通过优化蒸馏过程，BCSM能够在保持模型性能的同时，显著降低计算资源的消耗，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Discrete diffusion models with parallel decoding are often distilled using token-wise KL objectives. Although token-wise KL exactly matches the corresponding product-form block distributions, its probability-space optimization geometry and teacher-only candidate truncation may provide insufficient supervision under aggressive few-step distillation. Concrete Score Matching (CSM) provides an alternative within-position objective by aligning relative logit geometry, but its complete pairwise form incurs $\mathcal{O}(|\mathcal{V}|^2)$ complexity. We propose Bidirectional Centered Score Matching (BCSM), an efficient within-position distillation objective that constructs an $\mathcal{O}(K)$ bidirectional active set, reduces pairwise comparisons to $\mathcal{O}(K^2)$, and factorizes them into an $\mathcal{O}(K)$ objective. We further introduce cross-timestep transition alignment. Experiments demonstrate strong quality--efficiency trade-offs, including up to $6\times$ NFE reduction with a 16.9\% relative HumanEval gain and a 15.1\% relative MMMU gain at single-step inference.