Block Verification Accelerates Speculative Decoding

📄 arXiv: 2403.10444v3 📥 PDF

作者: Ziteng Sun, Uri Mendlovic, Yaniv Leviathan, Asaf Aharoni, Jae Hun Ro, Ahmad Beirami, Ananda Theertha Suresh

分类: cs.LG, cs.CL, cs.DS, cs.IT

发布日期: 2024-03-15 (更新: 2025-04-10)

💡 一句话要点

提出区块验证以加速推测解码过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 区块验证 大语言模型 并行计算 效率提升

📋 核心要点

  1. 现有的推测解码方法在验证过程中逐个令牌独立处理，导致效率低下。
  2. 本文提出的区块验证算法通过联合验证整个令牌区块，显著提升了推测解码的速度。
  3. 实验结果表明，区块验证在多种任务中提供了5%-8%的加速，且不影响模型性能。

📝 摘要（中文）

推测解码是一种有效的无损加速大语言模型推理的方法。该方法利用快速模型草拟一组令牌，然后由目标模型并行验证，确保输出与目标模型的样本分布一致。以往的草拟验证是逐个令牌独立进行的，然而，本文提出的区块验证算法通过联合验证整个区块，显著提高了速度。我们证明了该机制在每次迭代中生成的令牌数量是最优的，并且在多项任务和数据集上，区块验证相较于标准令牌验证算法提供了5%-8%的一致性加速，且不增加代码复杂度，保持了强大的无损保证。

🔬 方法详解

问题定义：本文解决的是推测解码中逐个令牌验证的低效问题。现有方法在处理大语言模型时，验证过程的独立性导致了时间浪费和效率低下。

核心思路：论文提出的区块验证算法通过同时验证整个令牌区块，减少了验证时间，提升了整体推理速度。这样的设计使得验证过程更加高效，能够更好地利用并行计算的优势。

技术框架：整体架构包括一个快速模型用于草拟令牌和一个目标模型用于验证。区块验证算法在草拟完成后，直接对整个区块进行验证，而不是逐个令牌处理。

关键创新：最重要的技术创新在于提出了区块验证这一新方法，它通过联合验证提高了效率，与传统的逐个令牌验证方法相比，显著减少了计算时间。

关键设计：在实现过程中，区块验证算法保持了与标准推测解码验证算法相同的无损保证，且没有增加代码复杂度，确保了模型性能的稳定性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，区块验证在多项任务和数据集上提供了5%-8%的一致性加速，相较于标准的逐个令牌验证算法，表现出显著的性能提升。这一结果表明，区块验证不仅提高了效率，还保持了模型的高性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过加速推测解码过程，区块验证可以在实时应用中显著提升响应速度，进而提高用户体验。未来，该方法可能会被广泛应用于需要高效推理的大型语言模型中。

📄 摘要（原文）

Speculative decoding is an effective method for lossless acceleration of large language models during inference. It uses a fast model to draft a block of tokens which are then verified in parallel by the target model, and provides a guarantee that the output is distributed identically to a sample from the target model. In prior works, draft verification is performed independently token-by-token. Surprisingly, we show that this approach is not optimal. We propose Block Verification, a simple draft verification algorithm that verifies the entire block jointly and provides additional wall-clock speedup. We prove that the proposed mechanism is optimal in the expected number of tokens produced each iteration and specifically is never worse than the standard token-level verification. Empirically, block verification provides modest but consistent wall-clock speedups over the standard token verification algorithm of 5%-8% in a range of tasks and datasets. Given that block verification does not increase code complexity, maintains the strong lossless guarantee of the standard speculative decoding verification algorithm, cannot deteriorate performance, and, in fact, consistently improves it, it can be used as a good default in speculative decoding implementations.