Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy
作者: Yijin Liu, Fandong Meng, Jie Zhou
分类: cs.CL
发布日期: 2024-04-10
备注: 12 pages, codes at https://github.com/Adaxry/Unified_Layer_Skipping
💡 一句话要点
提出统一层跳过策略以加速大语言模型推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 动态计算 推理加速 层跳过策略 机器翻译 文本摘要 模型性能
📋 核心要点
- 现有动态计算方法在解码过程中为不同样本分配不同计算预算，导致加速效果不稳定。
- 本文提出统一层跳过策略，根据目标加速比选择跳过的层数，平衡地跳过中间层计算。
- 实验结果显示，统一层跳过策略在机器翻译和文本摘要任务上显著提升了推理性能和模型吞吐量。
📝 摘要（中文）
近年来，动态计算方法通过跳过多个计算层显著加速了大语言模型（LLMs）。然而，现有方法在解码过程中为不同样本分配了不同的计算预算，无法保证稳定和精确的加速效果。此外，现有方法通常在模型的底部或顶部跳过多个连续层，导致模型层级表示的剧烈变化，从而影响性能。因此，本文提出了一种统一层跳过策略，该策略仅根据目标加速比选择跳过的层数，并以平衡的方式跳过相应数量的中间层计算。实验结果表明，在机器翻译和文本摘要等任务上，统一层跳过策略显著提升了推理性能和模型吞吐量。
🔬 方法详解
问题定义：本文旨在解决现有动态计算方法在大语言模型推理中存在的加速效果不稳定和性能下降的问题。现有方法在解码过程中为不同样本分配不同的计算预算，且通常跳过多个连续层，导致模型层级表示的剧烈变化。
核心思路：提出统一层跳过策略，依据目标加速比选择跳过的层数，并以平衡的方式跳过中间层计算。这种方法独立于输入样本，支持批量解码和KV缓存等加速技术，提升了实际应用的可行性。
技术框架：整体架构包括输入样本的处理、目标加速比的设定、层跳过策略的实施以及最终的推理输出。主要模块包括层选择模块和计算跳过模块。
关键创新：最重要的创新点在于提出了一种统一的层跳过策略，使得跳过的层数与目标加速比直接相关，避免了现有方法的层级表示剧烈变化问题。
关键设计：在参数设置上，目标加速比的选择是关键，损失函数设计用于平衡推理速度与性能之间的关系，网络结构则保持了原有模型的完整性，确保性能不下降。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用统一层跳过策略后，在机器翻译和文本摘要任务上，推理性能和模型吞吐量相比现有动态方法有显著提升，具体提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
该研究的潜在应用领域包括机器翻译、文本摘要等自然语言处理任务，能够在保证推理性能的同时显著提高模型的推理速度，具有重要的实际价值。未来，该策略可能在更广泛的AI应用中得到推广，提升大规模模型的实用性。
📄 摘要（原文）
Recently, dynamic computation methods have shown notable acceleration for Large Language Models (LLMs) by skipping several layers of computations through elaborate heuristics or additional predictors. However, in the decoding process of existing approaches, different samples are assigned different computational budgets, which cannot guarantee a stable and precise acceleration effect. Furthermore, existing approaches generally skip multiple contiguous layers at the bottom or top of the layers, leading to a drastic change in the model's layer-wise representations, and thus a consequent performance degeneration. Therefore, we propose a Unified Layer Skipping strategy, which selects the number of layers to skip computation based solely on the target speedup ratio, and then skips the corresponding number of intermediate layer computations in a balanced manner. Since the Unified Layer Skipping strategy is independent of input samples, it naturally supports popular acceleration techniques such as batch decoding and KV caching, thus demonstrating more practicality for real-world applications. Experimental results on two common tasks, i.e., machine translation and text summarization, indicate that given a target speedup ratio, the Unified Layer Skipping strategy significantly enhances both the inference performance and the actual model throughput over existing dynamic approaches.