Inference Acceleration for Large Language Models on CPUs

📄 arXiv: 2406.07553v1 📥 PDF

作者: Ditto PS, Jithin VG, Adarsh MS

分类: cs.DC, cs.CL

发布日期: 2024-03-04

💡 一句话要点

提出基于CPU的推理加速方法以提升大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理加速 CPU优化 并行处理 自然语言处理 能效降低 NUMA节点隔离 批量推理

📋 核心要点

  1. 现有的大语言模型在实际应用中面临高计算需求，推理效率不足，限制了其广泛部署。
  2. 论文提出了一种基于CPU的并行化推理方法，利用现代CPU的并行处理能力和批量请求机制来提升推理效率。
  3. 实验结果表明，该方法在生成令牌的速度上实现了18-22倍的提升，并且在多工作进程的情况下进一步提高了性能。

📝 摘要（中文）

近年来，大语言模型在各种自然语言处理任务中表现出色。然而，将这些模型应用于实际场景时，往往面临高计算需求的挑战。本文探讨了利用CPU加速大语言模型推理的方案，提出了一种并行化的方法，通过充分利用现代CPU架构的并行处理能力和批量推理请求，显著提升了推理吞吐量。评估结果显示，该加速推理引擎在生成每秒令牌数上提升了18-22倍，尤其在处理长序列和大模型时效果更为显著。此外，通过在同一机器上运行多个工作进程并进行NUMA节点隔离，进一步提高了每秒生成令牌数，预计可将大语言模型的推理功耗降低48.9%。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理过程中面临的高计算需求和低效率问题。现有方法在实际应用中难以满足实时性和能效的要求。

核心思路：论文的核心思路是通过并行化处理和批量推理请求来提升CPU的推理效率，充分利用现代CPU的多核架构。

技术框架：整体架构包括并行处理模块、批量请求处理模块和NUMA节点隔离机制。通过这些模块的协同工作，实现高效的推理加速。

关键创新：最重要的技术创新在于将NUMA节点隔离与多工作进程结合，显著提升了推理吞吐量，区别于传统的单一处理方式。

关键设计：在参数设置上，优化了批量大小和工作进程数，采用适合CPU架构的并行算法，确保在不同模型和序列长度下均能获得最佳性能。

📊 实验亮点

实验结果显示，采用该加速推理引擎后，生成每秒令牌数提升了18-22倍，尤其在处理长序列和大模型时效果更为显著。此外，通过NUMA节点隔离和多工作进程的结合，进一步实现了4倍的性能提升，显著提高了推理效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服、内容生成等。通过提升大语言模型的推理效率，可以使得这些技术在实际产品中更具可行性，降低能耗，推动绿色AI的发展。未来，随着技术的进一步成熟，预计将对各类基于AI的产品和服务产生深远影响。

📄 摘要（原文）

In recent years, large language models have demonstrated remarkable performance across various natural language processing (NLP) tasks. However, deploying these models for real-world applications often requires efficient inference solutions to handle the computational demands. In this paper, we explore the utilization of CPUs for accelerating the inference of large language models. Specifically, we introduce a parallelized approach to enhance throughput by 1) Exploiting the parallel processing capabilities of modern CPU architectures, 2) Batching the inference request. Our evaluation shows the accelerated inference engine gives an 18-22x improvement in the generated token per sec. The improvement is more with longer sequence and larger models. In addition to this, we can also run multiple workers in the same machine with NUMA node isolation to further improvement in tokens/s. Table 2, we have received 4x additional improvement with 4 workers. This would also make Gen-AI based products and companies environment friendly, our estimates shows that CPU usage for Inference could reduce the power consumption of LLMs by 48.9% while providing production ready throughput and latency.