SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens

📄 arXiv: 2403.18647v2 📥 PDF

作者: Chengbo Liu, Yong Zhu

分类: cs.CL

发布日期: 2024-03-27 (更新: 2024-04-01)

备注: 12 pages, 7 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出SDSAT以加速大语言模型推理过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推测解码 语义自适应令牌 并行解码 自然语言处理

📋 核心要点

  1. 现有大语言模型在推理过程中存在速度瓶颈，影响了实际应用的效率。
  2. 论文提出通过语义自适应令牌进行推测解码，提升生成草稿令牌的准确性与速度。
  3. 实验结果显示，CodeLlama-13B和7B模型的推理速度分别提升超过3.5倍和3.0倍，验证了方法的有效性。

📝 摘要（中文）

我们提出了一种通过语义自适应令牌（SDSAT）进行推测解码的加速方案，旨在提高大语言模型（LLMs）生成草稿令牌的准确性，而不影响模型的整体准确性。该方案的核心策略包括：1）通过引入具有灵活解码能力的语义自适应令牌对模型进行微调，允许生成高质量的草稿令牌；2）采用不影响标准令牌的训练方法，使模型在原有框架上获得并行解码能力，训练开销最小；3）设计了“先草稿后验证”的生成策略，结合贪婪搜索和核采样。对CodeLlama-13B和7B模型的实验表明，速度分别提升超过3.5倍和3.0倍。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在推理时的速度瓶颈问题。现有方法在生成草稿令牌时，往往无法兼顾速度与准确性，导致效率低下。

核心思路：提出一种新的解码策略，通过引入语义自适应令牌，允许模型在不改变其结构的情况下，灵活生成高质量的草稿令牌，从而加速推理过程。

技术框架：整体架构包括两个主要阶段：首先是草稿生成阶段，利用语义自适应令牌生成初步的草稿令牌；其次是验证阶段，通过贪婪搜索和核采样对生成的草稿进行验证和优化。

关键创新：最重要的创新在于引入了语义自适应令牌，使得模型能够在保持原有结构的基础上，获得更高的解码灵活性和准确性。这一方法与传统的解码方式相比，显著提升了生成效率。

关键设计：在训练过程中，采用了一种不影响标准令牌的训练方法，确保模型在原有框架上获得并行解码能力，且训练开销最小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用SDSAT方法后，CodeLlama-13B模型的推理速度提升超过3.5倍，7B模型提升超过3.0倍。这些结果展示了该方法在加速大语言模型推理方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过加速大语言模型的推理过程，能够显著提高这些系统的响应速度和用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We propose an acceleration scheme for large language models (LLMs) through Speculative Decoding with Semantic Adaptive Tokens (SDSAT). The primary objective of this design is to enhance the LLM model's ability to generate draft tokens more accurately without compromising the model's accuracy. The core strategies involve: 1) Fine-tune the model by incorporating semantic adaptive tokens that possess flexible decoding capabilities without changing its structure, allowing them to generate high-quality draft tokens. 2) By employing a training method that does not affect the standard tokens, the model can acquire parallel decoding abilities atop its original framework with minimal training overhead. 3) We have designed the "two-step-draft-then-verify" generation strategies using both greedy search and nucleus sampling. Experiments conducted on the CodeLlama-13B and 7B models have yielded speed increases of over 3.5X and 3.0X, respectively. Please refer to https://github.com/hasuoshenyun/SDSAT.