Think Big, Generate Quick: LLM-to-SLM for Fast Autoregressive Decoding

📄 arXiv: 2402.16844v3 📥 PDF

作者: Benjamin Bergner, Andrii Skliar, Amelie Royer, Tijmen Blankevoort, Yuki Asano, Babak Ehteshami Bejnordi

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-26 (更新: 2024-07-17)

备注: Work presented at the ES-FoMo II Workshop at ICML 2024

💡 一句话要点

提出混合模型以提高自回归解码效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 小型语言模型 自回归解码 混合模型 效率提升 实时应用 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在自回归解码时面临高延迟和高成本的问题，限制了其在实时应用中的使用。
  2. 本文提出了一种混合模型方法，利用预训练的冻结LLM并行处理输入，并通过小型语言模型生成响应，从而提高解码效率。
  3. 实验结果显示，该方法在多个基准测试中实现了高达4倍的速度提升，且性能损失仅为1-2%。

📝 摘要（中文）

大型语言模型（LLMs）在翻译、摘要和指令跟随等生成任务中变得无处不在。然而，它们的庞大规模和自回归解码的依赖增加了部署成本，并使其在延迟敏感的应用中使用复杂。本文提出了一种混合方法，结合不同规模的语言模型，以提高自回归解码的效率，同时保持高性能。该方法利用一个预训练的冻结LLM并行编码所有提示令牌，利用生成的表示来条件和引导一个小型语言模型（SLM），从而更高效地生成响应。实验表明，与LLM相比，在翻译和摘要任务中实现了高达4倍的速度提升，性能损失仅为1-2%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在自回归解码中的高延迟和高成本问题。现有方法在实时应用中难以满足需求，限制了其广泛应用。

核心思路：论文提出的混合模型方法通过结合大型语言模型和小型语言模型，利用预训练的冻结LLM并行编码输入，从而提高生成效率。这样的设计旨在减少计算负担，同时保持生成质量。

技术框架：整体架构包括一个冻结的预训练LLM用于并行编码所有提示令牌，随后将生成的表示用于指导小型语言模型（SLM）进行响应生成。该流程分为编码和生成两个主要阶段。

关键创新：最重要的创新在于将不同规模的语言模型结合使用，尤其是通过冻结LLM的表示来引导SLM，从而实现高效的自回归解码。这一方法与传统的单一大型模型解码方式有本质区别。

关键设计：在模型设计中，SLM只需进行微调，且通过选择合适的损失函数和网络结构，确保在速度和性能之间取得良好平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的方法在多个基准测试中实现了高达4倍的速度提升，相较于传统的LLM，翻译和摘要任务的性能损失仅为1-2%。这一显著的提升使得该方法在延迟敏感的应用中具有重要的实用价值。

🎯 应用场景

该研究的潜在应用领域包括实时翻译、快速摘要生成和其他对延迟敏感的自然语言处理任务。通过提高自回归解码的效率，该方法能够在实际应用中降低成本并提升用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have become ubiquitous in practice and are widely used for generation tasks such as translation, summarization and instruction following. However, their enormous size and reliance on autoregressive decoding increase deployment costs and complicate their use in latency-critical applications. In this work, we propose a hybrid approach that combines language models of different sizes to increase the efficiency of autoregressive decoding while maintaining high performance. Our method utilizes a pretrained frozen LLM that encodes all prompt tokens once in parallel, and uses the resulting representations to condition and guide a small language model (SLM), which then generates the response more efficiently. We investigate the combination of encoder-decoder LLMs with both encoder-decoder and decoder-only SLMs from different model families and only require fine-tuning of the SLM. Experiments with various benchmarks show substantial speedups of up to $4\times$, with minor performance penalties of $1-2\%$ for translation and summarization tasks compared to the LLM.