What Does a Discrete Diffusion Model Learn?

📄 arXiv: 2607.05381v1 📥 PDF

作者: Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

分类: cs.LG, cs.AI, cs.CL, cs.IT, stat.ML

发布日期: 2026-07-06

备注: 66 pages, 6 figures

💡 一句话要点

提出离散扩散模型的学习机制以优化数据熵

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 离散扩散模型 去噪器 评分比率 桥接插件 数据熵 马尔可夫链 优化策略

📋 核心要点

  1. 现有的扩散模型在学习过程中存在对不同坐标系的误解，导致训练和采样过程的偏差。
  2. 论文通过推导ELBO和Oracle Distance定理，提出了一种新的优化框架，明确了噪声过程的最佳学习策略。
  3. 实验验证了每个身份的数值准确性，展示了在初始化时不同参数设置对ELBO的影响。

📝 摘要（中文）

本文探讨了离散扩散模型的学习内容，包括去噪器、评分比率和桥接插件预测器。通过严格推导连续时间马尔可夫链的ELBO，证明了负ELBO与数据熵及路径KL之间的精确关系。提出的优化器是当前噪声状态下真实反向跳跃率的条件期望，揭示了每种噪声过程共享相同的最佳负ELBO。针对具有令牌因子噪声的序列，提出了三种优化器的精确坐标，并验证了文献中各损失函数的优化目标。

🔬 方法详解

问题定义：本文旨在解决离散扩散模型在学习过程中对不同坐标系的误解问题，现有方法未能有效区分去噪器、评分比率和桥接插件预测器的角色。

核心思路：通过推导连续时间马尔可夫链的ELBO，提出Oracle Distance定理，明确了负ELBO与数据熵及路径KL的精确关系，从而优化学习过程。

技术框架：整体框架包括对噪声过程的严格推导，定义了优化器为当前噪声状态下真实反向跳跃率的条件期望，涵盖了去噪器、桥接插件和评分的转换关系。

关键创新：最重要的创新在于提出了Oracle Distance定理，证明了负ELBO与数据熵之间的精确等价关系，揭示了不同噪声过程的最佳学习策略。

关键设计：设计中包括了对损失函数的精确设定，特别是去噪器参数化对均匀ELBO的影响，以及在初始化时桥接插件的稳定性。实验中所有身份均通过数值验证，确保了结果的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的框架在多个噪声类型下均实现了最佳负ELBO，且在初始化时，桥接插件的ELBO保持有限，而去噪器参数化则导致发散。这一发现为模型的稳定性和性能优化提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括图像去噪、生成模型和强化学习等。通过优化扩散模型的学习机制，可以提高模型在复杂数据集上的表现，推动计算机视觉和自然语言处理等领域的进一步发展。

📄 摘要（原文）

What does a discrete diffusion model learn: a denoiser, a score ratio, or a bridge plug-in predictor? At the level of jump rates, these are one object in different coordinates, and reading a neural network in the wrong coordinate changes the process being trained and sampled. Starting with a rigorous derivation of the continuous-time Markov chain (CTMC) ELBO for any noising process, boundary terms included, we prove the \emph{Oracle Distance} theorem: the negative ELBO is exactly equal to the data entropy plus the path KL from the oracle reverse process to the learned one, not merely a bound. Its unique optimizer is therefore the conditional expectation of the true reverse jump rate given the current noisy state, and its irreducible cost is the rate at which the forward process $Z_t$ destroys information about the clean data $Z_0$, $-\tfrac{d}{dt}I(Z_0; Z_t)$, so every noising process shares the same best achievable negative ELBO: the data entropy. For sequences with token-factorizing noise, the oracle projection yields three exact coordinates for the optimizer: denoiser, cavity (bridge plug-in), and score, with closed-form conversions among them. This framework identifies which law each loss in the literature actually optimizes, recovering MDM, UDM, SEDD, and GIDD as special cases; explains why denoiser and cavity coincide for masked diffusion but not for uniform diffusion; proves that a denoiser parameterization makes the uniform ELBO diverge at initialization while the bridge plug-in stays finite; and calibrates ELBO implementations exactly at initialization. Every identity is verified numerically, without approximation, on an exactly solvable model.