Efficient LLM Inference on CPUs

📄 arXiv: 2311.00502v2 📥 PDF

作者: Haihao Shen, Hanwen Chang, Bo Dong, Yu Luo, Hengyu Meng

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-11-01 (更新: 2023-12-07)

备注: NeurIPS'2023 on Efficient Natural Language and Speech Processing

🔗 代码/项目: GITHUB

💡 一句话要点

提出高效LLM推理方法以解决CPU部署挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理优化 INT4量化 CPU部署 自然语言处理

📋 核心要点

  1. 现有大型语言模型在部署时面临内存容量和带宽的巨大挑战，限制了其在CPU上的应用。
  2. 本文提出了一种自动INT4权重量化流程和优化的LLM运行时，以提高CPU上的推理效率。
  3. 实验结果表明，该方法在多个流行LLM模型上实现了显著的推理效率提升，展示了其广泛的适用性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中展现出卓越的性能和潜力。然而，由于模型参数量庞大，部署这些模型面临着巨大的内存需求和带宽限制。本文提出了一种有效的方法，使LLM的部署更加高效。我们支持自动的INT4权重量化流程，并设计了一种特殊的LLM运行时，配备高度优化的内核，以加速CPU上的LLM推理。我们在流行的LLM模型（如Llama2、Llama、GPT-NeoX）上展示了该方法的广泛适用性，并展示了在CPU上极高的推理效率。代码已公开发布。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在CPU上推理时的内存和带宽限制问题。现有方法在处理庞大模型时，往往无法有效利用CPU资源，导致推理速度缓慢和效率低下。

核心思路：论文提出了一种自动INT4权重量化流程，旨在减少模型的内存占用，同时设计了优化的LLM运行时，以提升推理速度。通过这种方式，能够在不显著损失模型性能的情况下，显著提高推理效率。

技术框架：整体架构包括权重量化模块和优化的运行时环境。权重量化模块负责将模型权重转换为INT4格式，运行时环境则利用高度优化的内核进行推理计算。

关键创新：最重要的创新在于引入了INT4权重量化和专门优化的运行时，显著提升了CPU推理的效率。这与传统方法相比，能够更好地适应CPU的计算特性。

关键设计：在设计中，采用了特定的量化策略和优化算法，以确保在降低内存需求的同时，保持模型的推理精度。此外，运行时环境的内核经过精心优化，以最大化CPU的计算能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用本文方法的LLM在CPU上的推理速度提升了显著，具体性能数据表明，与传统方法相比，推理效率提高了数倍，极大地增强了模型的实用性和可部署性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大型语言模型在CPU上的推理效率，能够使得这些模型在资源受限的环境中得到更广泛的应用，推动智能助手、自动翻译等技术的发展。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable performance and tremendous potential across a wide range of tasks. However, deploying these models has been challenging due to the astronomical amount of model parameters, which requires a demand for large memory capacity and high memory bandwidth. In this paper, we propose an effective approach that can make the deployment of LLMs more efficiently. We support an automatic INT4 weight-only quantization flow and design a special LLM runtime with highly-optimized kernels to accelerate the LLM inference on CPUs. We demonstrate the general applicability of our approach on popular LLMs including Llama2, Llama, GPT-NeoX, and showcase the extreme inference efficiency on CPUs. The code is publicly available at: https://github.com/intel/intel-extension-for-transformers.