LLM in a flash: Efficient Large Language Model Inference with Limited Memory
作者: Keivan Alizadeh, Iman Mirzadeh, Dmitry Belenko, Karen Khatamifard, Minsik Cho, Carlo C Del Mundo, Mohammad Rastegari, Mehrdad Farajtabar
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-12-12 (更新: 2024-07-30)
备注: ACL 2024
💡 一句话要点
LLM in a flash：利用闪存高效推理受限内存的大语言模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 闪存推理 内存优化 硬件感知 低资源设备
📋 核心要点
- 现有大语言模型对内存需求高，在DRAM容量受限的设备上部署困难，需要寻找更高效的推理方法。
- 论文提出一种硬件感知的推理方法，通过将模型参数存储在闪存中，并按需加载到DRAM，减少数据传输量。
- 实验结果表明，该方法能够运行比DRAM容量大两倍的模型，并在CPU和GPU上分别提升4-5倍和20-25倍的推理速度。
📝 摘要（中文）
大型语言模型（LLM）是现代自然语言处理的核心，在各种任务中表现出色。然而，它们巨大的计算和内存需求带来了挑战，特别是对于DRAM容量有限的设备。本文旨在解决在可用DRAM容量不足的情况下高效运行LLM的问题，通过将模型参数存储在闪存中，并根据需要将其加载到DRAM中。我们的方法包括构建一个考虑闪存特性的推理成本模型，指导我们在两个关键领域进行优化：减少从闪存传输的数据量，以及以更大、更连续的块读取数据。在这个硬件感知的框架内，我们引入了两种主要技术。首先，“窗口化”通过重用先前激活的神经元来策略性地减少数据传输，其次，“行-列捆绑”针对闪存的顺序数据访问优势，增加了从闪存读取的数据块的大小。这些方法共同实现了运行高达可用DRAM两倍大小的模型，与CPU和GPU中的朴素加载方法相比，推理速度分别提高了4-5倍和20-25倍。我们将稀疏性感知、上下文自适应加载和面向硬件的设计相结合，为在内存有限的设备上有效推理LLM铺平了道路。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）在推理时需要大量的内存，这使得它们难以在DRAM容量有限的设备上部署。传统的加载方式效率低下，导致推理速度慢，无法满足实际应用的需求。因此，需要一种能够在有限内存下高效运行LLM的方法。
核心思路：论文的核心思路是将LLM的模型参数存储在闪存中，而不是全部加载到DRAM中。在推理过程中，只将当前需要的参数从闪存加载到DRAM，并在计算完成后释放。通过这种方式，可以减少DRAM的内存占用，从而运行更大的模型。此外，论文还针对闪存的特性进行了优化，以提高数据加载的速度。
技术框架：该方法包含以下几个主要模块：1) 推理成本模型：用于评估不同数据加载策略的成本，并指导优化过程。2) 窗口化（Windowing）：通过重用先前激活的神经元，减少需要从闪存加载的数据量。3) 行-列捆绑（Row-Column Bundling）：针对闪存的顺序访问特性，将数据组织成更大的连续块，以提高读取速度。4) 上下文自适应加载：根据当前上下文动态调整加载策略，进一步优化性能。
关键创新：该方法的关键创新在于硬件感知的优化策略。传统的LLM推理方法通常忽略底层硬件的特性，而该论文充分考虑了闪存的特点，并设计了相应的优化算法。例如，行-列捆绑就是针对闪存的顺序访问优势而设计的。此外，窗口化技术也有效地减少了数据传输量。
关键设计：论文中没有明确给出具体的参数设置或损失函数，但提到了稀疏性感知。这意味着该方法可以利用模型中的稀疏性来进一步减少数据传输量。具体的实现方式可能包括只加载非零参数，或者使用压缩算法来减少数据大小。此外，上下文自适应加载可能涉及到根据输入数据的特性动态调整窗口大小或加载策略。
📊 实验亮点
实验结果表明，该方法能够运行高达可用DRAM两倍大小的LLM模型。与在CPU上使用朴素加载方法相比，推理速度提高了4-5倍；与在GPU上使用朴素加载方法相比，推理速度提高了20-25倍。这些结果表明，该方法能够显著提高LLM在内存受限设备上的推理效率。
🎯 应用场景
该研究成果可广泛应用于边缘设备、移动设备和资源受限的服务器等场景，使得这些设备能够运行更大、更复杂的LLM模型，从而提升自然语言处理任务的性能。例如，在智能手机上运行本地LLM，可以实现更快的响应速度和更好的隐私保护。在物联网设备上部署LLM，可以实现更智能的设备控制和数据分析。该研究还有助于推动LLM在更多领域的应用，例如智能客服、机器翻译和文本生成等。
📄 摘要（原文）
Large language models (LLMs) are central to modern natural language processing, delivering exceptional performance in various tasks. However, their substantial computational and memory requirements present challenges, especially for devices with limited DRAM capacity. This paper tackles the challenge of efficiently running LLMs that exceed the available DRAM capacity by storing the model parameters in flash memory, but bringing them on demand to DRAM. Our method involves constructing an inference cost model that takes into account the characteristics of flash memory, guiding us to optimize in two critical areas: reducing the volume of data transferred from flash and reading data in larger, more contiguous chunks. Within this hardware-informed framework, we introduce two principal techniques. First, "windowing" strategically reduces data transfer by reusing previously activated neurons, and second, "row-column bundling", tailored to the sequential data access strengths of flash memory, increases the size of data chunks read from flash memory. These methods collectively enable running models up to twice the size of the available DRAM, with a 4-5x and 20-25x increase in inference speed compared to naive loading approaches in CPU and GPU, respectively. Our integration of sparsity awareness, context-adaptive loading, and a hardware-oriented design paves the way for effective inference of LLMs on devices with limited memory.