Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models

📄 arXiv: 2608.11742v1 📥 PDF

作者: Yushi Ye, Xu Chen, Haoyun Jiang, Jinsong Lan, Haihong Tang, Bo Han, Ivor Tsang, Yanfeng Wang, Bo Zheng, Jiangchao Yao

分类: cs.CL

发布日期: 2026-08-12

💡 一句话要点

提出Ripple-Pivot Search以加速扩散大语言模型解码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 并行解码 涟漪效应 中熵位置 前瞻性评估 解码加速 自然语言处理 代码生成

📋 核心要点

  1. 现有的并行解码方法在承诺位置时存在局限，未能充分利用早期承诺带来的潜在好处。
  2. 本文提出Ripple-Pivot Search（RPS），通过主动承诺中熵位置来降低后续解码的不确定性，从而加速解码过程。
  3. RPS在多个基准测试中表现出色，墙钟速度提升4-10倍，并在准确性上较基线提高了最高5.49%。

📝 摘要（中文）

扩散大语言模型（dLLMs）作为自回归语言模型的竞争替代方案，通过并行解码实现了显著加速。然而，现有的并行解码调度器通常在满足每个位置的标准后才进行承诺，忽视了早期承诺对后续解码的潜在好处。本文提出Ripple-Pivot Search（RPS），一种新颖的无训练解码方法，通过主动承诺中熵枢轴位置，显著降低剩余掩码位置的不确定性，从而加速整体解码过程。RPS在三个dLLM和四个推理及代码生成基准上实现了4-10倍的墙钟速度提升，同时保持生成质量，并在大多数设置中提高了准确性，最高提升5.49%。与KV缓存集成后，RPS进一步实现了高达18倍的速度提升。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型（dLLMs）在并行解码中存在的效率低下问题。现有方法通常在满足每个位置的标准后才进行承诺，未能利用早期承诺的优势，导致解码速度缓慢。

核心思路：Ripple-Pivot Search（RPS）通过主动承诺中熵位置，利用“涟漪效应”降低后续掩码位置的不确定性，从而加速解码过程。该方法不需要额外的训练，直接在解码阶段进行优化。

技术框架：RPS的整体架构包括两个主要模块：首先，识别中熵位置作为潜在的枢轴位置；其次，通过前瞻性评估确定这些位置的最佳标记分配，以实现最大化的下游收益。

关键创新：RPS的核心创新在于识别并利用中熵位置的涟漪效应，这与传统方法的逐步承诺方式有本质区别。通过这种方法，RPS能够在解码过程中实现更高的并行性和效率。

关键设计：RPS在参数设置上进行了优化，确保中熵位置的选择能够有效降低不确定性。损失函数和网络结构设计上，RPS采用了前瞻性评估机制，以便在解码过程中动态调整标记分配策略。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

RPS在多个基准测试中表现出色，墙钟速度提升4-10倍，相较于标准解码器保持了生成质量，并在准确性上较先前的前瞻基线提高了最高5.49%。与KV缓存结合使用时，RPS实现了高达18倍的速度提升，展现了其强大的实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统、代码生成和推理任务等。通过加速解码过程，RPS能够在实时应用中提供更快的响应时间，提升用户体验，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Diffusion Large Language Models (dLLMs) have emerged as a competitive alternative to autoregressive language models, offering the potential for substantially faster inference through parallel decoding. Existing parallel decoding schedulers typically commit positions only after they meet a per-position criterion, overlooking how early commitments may benefit subsequent decoding. We identify a ripple effect in dLLM decoding: proactively committing a mid-entropy pivot position can induce a pronounced reduction in uncertainty across the remaining masked positions. This uncertainty reduction allows subsequent steps to unmask more tokens in parallel, thereby accelerating the overall decoding process. To exploit the ripple effect, we propose Ripple-Pivot Search (RPS), a novel training-free decoding method that seeks mid-entropy positions as promising candidate pivots (where to decode), and determines their token assignment that yields the greatest downstream benefit via lookahead evaluation (what to decode). Across 3 dLLMs and 4 reasoning and code-generation benchmarks, RPS achieves 4-10$\times$ wall-clock speedup over the standard decoder while preserving generation quality, and improves accuracy over the previous lookahead baseline by up to 5.49% while delivering higher throughput in most settings. When integrated with KV caching, RPS further achieves up to 18$\times$ wall-clock speedup over the standard decoder.