End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing
作者: Fareed Sheriff
分类: cs.LG
发布日期: 2026-10-29
备注: Accepted at the NeurIPS 2026 Workshop on Diffusion Language Models: Foundations, Efficiency, and Reasoning (DiffuLM). 26 pages, 2 figures, 6 tables
💡 一句话要点
提出端到端保证的条件混合下的掩蔽扩散模型
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 掩蔽扩散模型 去噪器 条件混合 马尔可夫源 样本复杂度 生成模型 KL散度 深度学习
📋 核心要点
- 现有的掩蔽扩散模型在去噪器的精确性和训练界限上存在不足，导致生成样本的质量不稳定。
- 本文提出了一种新的端到端保证方法，利用条件混合来优化去噪器的训练过程，提升生成效果。
- 实验结果表明，所提方法在样本复杂度和生成质量上均优于传统方法，验证了理论分析的有效性。
📝 摘要（中文）
掩蔽扩散模型（MDM）通过在掩蔽交叉熵上训练去噪器并并行解掩蔽多个位置来生成样本。现有的MDM采样界限假设去噪器是精确的，或在训练时未控制其误差，而训练界限仅覆盖模型训练时的掩蔽分布。本文提出了在条件混合下对学习去噪器的端到端保证，针对静态源（如有序-$r$马尔可夫和双侧-多布林隐马尔可夫源），揭示远程可见标记对掩蔽标记后验的影响微小。我们展示了在任何掩蔽分布下训练的经验风险最小化器在该分布上达到每标记过量$ ext{ε}'$，并且训练序列数与序列长度无关。最后，我们通过实验验证了结果的定性预测。
🔬 方法详解
问题定义：本文解决的是掩蔽扩散模型在训练和生成过程中对去噪器精确性和训练界限控制不足的问题，导致生成样本的质量不稳定。
核心思路：提出在条件混合下对学习去噪器的端到端保证，利用静态源的特性，揭示远程可见标记对掩蔽标记后验的影响微小，从而优化去噪器的训练过程。
技术框架：整体架构包括去噪器的训练模块和生成模块，训练模块基于掩蔽交叉熵进行优化，生成模块则通过并行解掩蔽多个位置来提高效率。
关键创新：最重要的技术创新在于提出了在条件混合下的端到端保证，允许在不同的掩蔽分布下进行有效训练，且与现有方法相比，显著降低了样本复杂度。
关键设计：关键参数设置包括掩蔽分布的选择和训练序列的数量，损失函数采用掩蔽交叉熵，网络结构设计为适应条件混合的去噪器，确保在不同解码调度下的有效性。
📊 实验亮点
实验结果显示，所提方法在样本复杂度上达到多项式级别，且在生成质量上相较于固定随机顺序的传统方法有显著提升，具体表现为KL散度的界限为$ ext{KL}(π ext{∥}p_{ ext{alg}})≤ ext{ε}+N ext{ε}'$，验证了理论分析的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、图像生成和其他需要高质量样本生成的任务。通过优化去噪器的训练过程，能够显著提升生成模型的性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Masked diffusion models train a denoiser on masked cross-entropy and generate by unmasking many positions in parallel. Existing MDM sampling bounds assume an exact denoiser or leave its error uncontrolled while training bounds cover only the masking distribution on which the model was trained. We present an end-to-end guarantee for a learned denoiser under conditional mixing (CM): stationary sources (e.g. floored order-$r$ Markov and two-sided-Doeblin hidden-Markov sources) for which revealing distant visible tokens moves a masked token's posterior on average exponentially little in the distance with correlation length $τ_c$. We show the empirical risk minimizer trained under any masking distribution attains per-token excess $\varepsilon'$ on that distribution from $\varepsilon'^{-\mathcal{O}(τ_c\log|\mathcal{V}|)}$ training sequences, independent of sequence length $N$ -- one sample budget serves every decoding schedule when each schedule's denoiser is trained under its own weighting. We further show that the exponent's order $Θ(τ_c\log|\mathcal{V}|)$ is minimax-optimal up to constants; more efficient rates require added structure. With this, we bound the end-to-end KL as $\mathrm{KL}(π\Vert p_{\mathrm{alg}})\leq \varepsilon+N\varepsilon'$ under a dilated schedule of $T=\mathcal{O}(τ_c\log(N|\mathcal{V}|/\varepsilon))$ denoising steps versus $Ω(N)$ steps for a fixed random order on an explicit CM source. Finally, we show that block-autoregressive samplers chain across blocks with no added error and that a $Λ$-looped order-$r$ message-passing class on order-$r$ sources achieves polynomial sample complexity, with approximation error improving per loop until saturation at $Λr\approx τ_c\log(1/\varepsilon')$. Experiments on released and retrained models support our results' qualitative predictions.