Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models

📄 arXiv: 2606.12273v1 📥 PDF

作者: Jia Deng, Junyi Li, Wayne Xin Zhao, Jinpeng Wang, Hongyu Lu, Ji-Rong Wen

分类: cs.CL

发布日期: 2026-06-10

备注: 13 pages. Accepted to ACL 2026 Main Conference

💡 一句话要点

提出AGDO框架以解决扩散语言模型的随机掩蔽问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 注意力机制 去噪优化 强化学习 推理能力提升

📋 核心要点

  1. 现有的后训练方法主要依赖随机掩蔽策略，未能充分利用标记之间的依赖关系，导致生成稳定性不足。
  2. AGDO框架通过注意力导向的去噪和优化，基于注意力结构确定去噪顺序，并在微调和强化学习中强调关键标记。
  3. 在数学和编码基准测试中，AGDO显著提升了推理性能，超越了当前最先进的dLLMs后训练方法。

📝 摘要（中文）

扩散大型语言模型（dLLMs）通过并行解码提供了对自回归模型的高效替代，但现有的后训练方法主要依赖随机掩蔽策略，忽视了内在的标记依赖性。本文对dLLMs中的注意力进行了实证分析，发现强烈关注未掩蔽上下文的标记在生成稳定性和推理中起着关键作用。基于这些发现，提出了AGDO框架，该框架通过注意力导向的去噪和优化，调整训练和优化过程以符合注意力派生的依赖性。实验表明，AGDO在数学和编码基准测试中显著提升了推理性能，超越了现有的dLLMs后训练方法。

🔬 方法详解

问题定义：本文旨在解决扩散大型语言模型（dLLMs）中随机掩蔽策略导致的标记依赖性忽视问题，影响生成稳定性和推理能力。

核心思路：AGDO框架通过分析注意力机制，提出一种基于注意力导向的去噪和优化方法，旨在提高模型对上下文的理解和生成能力。

技术框架：AGDO的整体架构包括两个主要模块：注意力分析模块和去噪优化模块。前者用于评估标记之间的注意力关系，后者则根据这些关系调整去噪顺序和训练策略。

关键创新：AGDO的核心创新在于将注意力机制与去噪过程相结合，强调注意力关键标记的作用，从而提升了模型的推理能力，与传统随机掩蔽方法形成鲜明对比。

关键设计：在AGDO中，去噪顺序是基于注意力结构动态确定的，训练过程中使用了强化学习策略来优化关键标记的生成，损失函数设计上强调了对注意力关键标记的关注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AGDO在数学和编码基准测试中显著提升了推理性能，相较于现有的后训练方法，性能提升幅度达到10%以上，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、编程辅助和智能问答系统等。通过提升扩散语言模型的推理能力，AGDO框架能够在更复杂的任务中提供更准确的结果，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Diffusion large language models (dLLMs) offer an efficient alternative to autoregressive models through parallel decoding, yet existing post-training methods largely rely on random masking strategies that overlook intrinsic token dependencies. In this work, we present an empirical analysis of attention in dLLMs and show that tokens attending more strongly to unmasked context exhibit greater generation stability and play a critical role in reasoning. Motivated by these findings, we propose AGDO, an attention-guided denoising and optimization framework that aligns both training and optimization with attention-derived dependencies. AGDO determines the denoising order based on attention structure and emphasizes attention-critical tokens during supervised fine-tuning and reinforcement learning. Experiments on mathematical and coding benchmarks demonstrate that AGDO consistently improves reasoning performance, outperforming state-of-the-art post-training methods for dLLMs.