Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens

📄 arXiv: 2606.16847v1 📥 PDF

作者: Yizhen Yao, Qinglin Zhu, Runcong Zhao, Xiangxiang Dai, Yanzheng Xiang, Yulan He, Lin Gui

分类: cs.CL, cs.AI

发布日期: 2026-06-15

💡 一句话要点

提出ASRD以解决扩散大语言模型中的解码速度与质量权衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 可撤回解码 锚令牌 错误传播 解码效率 自然语言处理 机器学习

📋 核心要点

  1. 现有的可撤回解码策略在混合质量上下文中操作，导致错误传播和局部错误增强等问题。
  2. 本文提出ASRD框架，通过锚令牌解耦解码上下文，利用动态缓存和两种机制来提升解码质量与速度。
  3. 实验结果显示，ASRD在数学和编码任务上准确率提高6.4%，推理速度提升7.2倍，显著优于现有方法。

📝 摘要（中文）

扩散大语言模型（dLLMs）在并行生成方面展现出良好前景，但在解码速度与质量之间存在权衡。现有的可撤回解码策略通过验证和重新掩蔽令牌来缓解错误，但通常在混合质量的上下文中操作，导致错误传播和局部错误增强等问题。为了解决这些挑战，本文提出了ASRD（Anchor Supervised Revocable Decoding），一个在嵌入空间中操作的无训练框架。ASRD明确将解码上下文解耦为通过时间一致性识别的可信锚令牌和不确定候选令牌。通过动态锚令牌缓存，本文引入了锚引导生成和锚扰动验证两种互补机制。大量实验表明，ASRD在数学和编码基准上超越了最近的重新掩蔽基线，准确率提高了6.4%，推理吞吐量加速了7.2倍。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型在解码过程中面临的速度与质量权衡问题。现有方法在混合质量上下文中操作，导致错误传播和局部错误增强，影响生成结果的可靠性。

核心思路：ASRD框架通过引入锚令牌，将解码上下文分为可信和不确定部分，从而有效减少错误传播。通过动态锚令牌缓存，本文设计了锚引导生成和锚扰动验证机制，以提升解码的准确性和速度。

技术框架：ASRD的整体架构包括两个主要模块：锚引导生成模块和锚扰动验证模块。前者通过注入锚信号来引导生成过程，后者则通过扰动不确定候选令牌来验证和修正错误。

关键创新：ASRD的核心创新在于通过锚令牌的引入，明确解耦解码上下文，解决了现有方法中错误传播和局部错误增强的问题。这一设计使得解码过程更加稳定和高效。

关键设计：在ASRD中，锚令牌通过时间一致性进行识别，动态缓存机制确保了锚令牌的有效性。锚引导生成使用熵加权信号来优化注意力，而锚扰动验证则通过正交扰动来打破脆弱的局部共识，增强了模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ASRD在数学和编码基准上相较于最新的重新掩蔽基线，准确率提高了6.4%，推理吞吐量加速了7.2倍，展示了其在解码效率和质量上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、编程辅助工具和智能对话系统等。通过提升解码质量与速度，ASRD能够在实时生成和交互场景中提供更高效的支持，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Diffusion Large Language Models (dLLMs) offer a promising avenue for parallel generation but face a trade-off between decoding speed and quality. While revocable decoding strategies attempt to mitigate errors by verifying and remasking tokens, they typically operate within a mixed-quality context. This leads to two critical failures: \textit{Error Propagation}, where new tokens absorb toxic information from erroneous context, and \textit{Local Error Reinforcement}, where errors mutually reinforce each other to evade detection. To alleviate these challenges, we propose ASRD (Anchor Supervised Revocable Decoding), a training-free framework that operates within the embedding space. ASRD explicitly decouples the decoding context into trusted \textit{Anchor Tokens}, which are identified via temporal consistency, and uncertain candidates. Leveraging a dynamic Anchor Tokens Cache, we introduce two complementary mechanisms: (1) Anchor-Guided Generation, which injects entropy-weighted anchor signals into masked positions to implicitly rectify attention toward the reliable global skeleton; and (2) Anchor-Perturbed Verification, which applies orthogonal perturbations to uncertain candidate tokens, destabilizing and remasking errors driven by fragile local consensus. Extensive experiments on math and coding benchmarks demonstrate that ASRD outperforms recent remasking baselines, achieving accuracy improvements of up to 6.4\% while accelerating inference throughput by up to 7.2$\times$.