Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding

📄 arXiv: 2402.11809v3 📥 PDF

作者: Hanling Yi, Feng Lin, Hongbin Li, Peiyang Ning, Xiaotian Yu, Rong Xiao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-19 (更新: 2024-05-20)

备注: Accepted by ACL 2024 Findings

💡 一句话要点

提出SPACE以加速大规模语言模型推理速度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 推理加速 自动纠错 半自回归 推测解码 自然语言处理 模型优化

📋 核心要点

  1. 现有的大规模语言模型推理速度较慢，限制了其在实时应用中的有效性。
  2. SPACE方法通过半自回归推理与推测解码相结合，实现了标记生成与验证的并行化。
  3. 实验结果表明，SPACE在HumanEval-X上实现了2.7倍至4.0倍的推理加速，且输出质量未受影响。

📝 摘要（中文）

本研究旨在加速具有数十亿参数的大规模语言模型（LLMs）的推理速度。我们提出了智能并行自动纠错解码（SPACE），这是一种旨在实现LLMs无损加速的创新方法。通过整合半自回归推理和推测解码能力，SPACE独特地使自回归LLMs能够并行生成和验证标记。这是通过一种专门的半自回归监督微调过程实现的，使现有LLMs具备同时预测多个标记的能力。此外，自动纠错解码算法促进了在单次模型调用中同时生成和验证标记序列。通过对多种LLMs进行广泛实验，SPACE在HumanEval-X上展示了2.7倍至4.0倍的推理加速，同时保持输出质量。

🔬 方法详解

问题定义：本论文旨在解决大规模语言模型推理速度慢的问题，现有方法在实时应用中表现不佳，导致效率低下。

核心思路：SPACE方法通过结合半自回归推理和推测解码，允许模型在生成标记的同时进行验证，从而实现并行化处理，提高推理速度。

技术框架：SPACE的整体架构包括半自回归监督微调过程和自动纠错解码算法。前者使模型能够同时预测多个标记，后者则在单次调用中生成和验证标记序列。

关键创新：SPACE的主要创新在于其独特的并行生成与验证机制，这与传统的自回归模型逐步生成标记的方式形成鲜明对比，显著提升了推理效率。

关键设计：在设计中，SPACE采用了特定的损失函数和网络结构，以支持半自回归的训练过程，并优化了模型的推理流程，确保在加速的同时保持输出质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPACE在HumanEval-X上的实验结果显示，推理速度提升幅度在2.7倍至4.0倍之间，显著优于现有基线方法，同时保持了高质量的输出。这一成果为大规模语言模型的实际应用提供了新的可能性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、实时对话系统和智能助手等。通过加速推理速度，SPACE能够提升用户体验，支持更复杂的应用场景，具有广泛的实际价值和未来影响。

📄 摘要（原文）

This research aims to accelerate the inference speed of large language models (LLMs) with billions of parameters. We propose \textbf{S}mart \textbf{P}arallel \textbf{A}uto-\textbf{C}orrect d\textbf{E}coding (SPACE), an innovative approach designed for achieving lossless acceleration of LLMs. By integrating semi-autoregressive inference and speculative decoding capabilities, SPACE uniquely enables autoregressive LLMs to parallelize token generation and verification. This is realized through a specialized semi-autoregressive supervised fine-tuning process that equips existing LLMs with the ability to simultaneously predict multiple tokens. Additionally, an auto-correct decoding algorithm facilitates the simultaneous generation and verification of token sequences within a single model invocation. Through extensive experiments on a range of LLMs, SPACE has demonstrated inference speedup ranging from 2.7x-4.0x on HumanEval-X while maintaining output quality.