Recursive Scaling in Masked Diffusion Models
作者: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard
分类: cs.LG
发布日期: 2026-06-16
💡 一句话要点
提出递归掩蔽扩散模型以提升参数效率
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 递归模型 掩蔽扩散 参数效率 序列生成 去噪变换器
📋 核心要点
- 现有的掩蔽扩散模型在扩展时主要依赖增加参数或去噪步骤，导致计算资源消耗高。
- 本文提出的递归掩蔽扩散模型通过在每个扩散步骤中重复使用去噪变换器，实现了递归深度的引入。
- 实验结果表明，R-MDMs在多个生成任务中展现出更高的参数效率，且在推理时减少了前向传递次数。
📝 摘要（中文）
掩蔽扩散模型（MDMs）作为一种新兴的序列生成范式，传统的扩展方式主要通过增加参数数量或去噪步骤数量来实现。本文提出了递归掩蔽扩散模型（R-MDMs），通过在每个扩散步骤中重复应用相同的去噪变换器，增加递归深度作为第三个扩展轴。递归机制通过参数重用实现输出的迭代精炼，在不增加参数数量的情况下提高有效模型深度。在数独和倒计时等结构化生成任务中，R-MDMs展现出显著的参数效率：具有L次递归迭代的模型通常能够匹配参数数量约为L倍的非递归基线的性能。此外，递归精炼可以部分替代额外的去噪步骤，使递归模型在推理时以更少的前向传递达到相同的生成质量。这些结果表明，递归深度是MDMs的一个实用扩展机制，提升了参数效率和测试时计算的分配。
🔬 方法详解
问题定义：本文旨在解决掩蔽扩散模型在扩展时面临的参数效率低和计算资源消耗高的问题。现有方法通过增加参数数量或去噪步骤来扩展，导致模型复杂度和计算需求显著增加。
核心思路：论文提出递归掩蔽扩散模型（R-MDMs），通过在每个扩散步骤中重复应用相同的去噪变换器，增加递归深度。这种设计允许模型在不增加参数数量的情况下，通过参数重用实现输出的迭代精炼。
技术框架：R-MDMs的整体架构包括多个递归迭代，每次迭代都使用相同的去噪变换器。模型首先进行初步生成，然后通过递归步骤不断优化输出，最终生成高质量的序列。
关键创新：最重要的技术创新在于引入递归深度作为扩展机制，使得模型在保持参数数量不变的情况下，能够实现更深的有效模型结构。这与传统方法的本质区别在于，递归机制允许更高效的参数利用。
关键设计：在模型设计中，关键参数包括递归迭代次数L，损失函数采用标准的去噪损失，网络结构则基于现有的去噪变换器，确保在每次递归中保持一致性和有效性。具体的超参数设置和训练细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，具有L次递归迭代的R-MDMs模型在数独和倒计时任务中，能够与参数数量约为L倍的非递归基线模型相媲美。此外，递归精炼使得模型在推理时以更少的前向传递达到相同的生成质量，展现出显著的效率提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、图像生成和其他序列生成任务。通过提升参数效率和降低推理时的计算需求，R-MDMs可以在资源受限的环境中实现高效的生成任务，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Masked diffusion models (MDMs) have recently emerged as a promising paradigm for sequence generation. Scaling MDMs is conventionally achieved by increasing the parameter count or the number of denoising steps. We introduce Recursive Masked Diffusion Models (R-MDMs), which add recursive depth as a third scaling axis by repeatedly applying the same denoising transformer within each diffusion step. Recursion enables iterative refinement of the output through parameter reuse, increasing effective model depth without increasing parameter count. Across structured generation tasks, including Sudoku and Countdown, we show that R-MDMs achieve substantially improved parameter efficiency: a model with $L$ recursive iterations often matches the performance of non-recursive baselines with roughly $L\times$ more parameters. Moreover, recursive refinement can partially substitute for additional denoising steps, allowing recursive models to reach the same generation quality with fewer forward passes at inference time. These results suggest that recursive depth is a practically useful scaling mechanism for MDMs, improving both parameter efficiency and the allocation of test-time compute.