Efficient Large Language Models: A Survey

📄 arXiv: 2312.03863v4 📥 PDF

作者: Zhongwei Wan, Xin Wang, Che Liu, Samiul Alam, Yu Zheng, Jiachen Liu, Zhongnan Qu, Shen Yan, Yi Zhu, Quanlu Zhang, Mosharaf Chowdhury, Mi Zhang

分类: cs.CL, cs.AI

发布日期: 2023-12-06 (更新: 2024-05-23)

备注: Camera ready version of Transactions on Machine Learning Research (TMLR)

🔗 代码/项目: GITHUB

💡 一句话要点

综述高效大型语言模型，从模型、数据和框架三方面系统性地回顾和分析相关研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型压缩 知识蒸馏 数据选择 并行训练 硬件加速 效率优化

📋 核心要点

  1. 大型语言模型虽然强大，但计算资源需求巨大，限制了其在资源受限环境中的应用。
  2. 该综述从模型、数据和框架三个维度，系统性地梳理了现有高效LLM的研究进展。
  3. 论文创建并维护了一个GitHub仓库，方便研究人员追踪高效LLM领域的最新研究成果。

📝 摘要（中文）

大型语言模型（LLM）在自然语言理解和生成等重要任务中表现出卓越的能力，因此有潜力对我们的社会产生重大影响。然而，这些能力需要大量的资源，这突显了开发有效技术来应对其效率挑战的强烈需求。本综述对高效LLM的研究进行了系统而全面的回顾。我们将文献组织成一个分类法，包括三个主要类别，分别从以模型为中心、以数据为中心和以框架为中心的角度涵盖了不同但相互关联的高效LLM主题。我们还创建了一个GitHub存储库，在https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey中组织了本综述中精选的论文。我们将积极维护该存储库，并在新研究出现时将其纳入。我们希望我们的综述可以作为一种宝贵的资源，帮助研究人员和从业人员系统地了解高效LLM的研究，并激励他们为这个重要而令人兴奋的领域做出贡献。

🔬 方法详解

问题定义：大型语言模型（LLMs）在各种自然语言处理任务中表现出色，但其庞大的规模带来了巨大的计算和存储开销，限制了它们在资源受限环境中的部署和应用。现有方法在效率方面仍存在挑战，例如模型压缩可能导致性能下降，数据优化可能忽略关键信息，框架优化可能依赖于特定硬件。

核心思路：该综述的核心思路是将现有的高效LLM研究按照三个主要类别进行划分：以模型为中心、以数据为中心和以框架为中心。通过这种分类，可以系统地分析不同方法在提高LLM效率方面的优势和局限性，并为未来的研究方向提供指导。

技术框架：该综述的整体框架围绕三个主要类别展开： 1. 模型为中心：包括模型压缩（如剪枝、量化、知识蒸馏）、高效架构设计（如注意力机制优化、稀疏模型）。 2. 数据为中心：包括数据选择（如核心集选择、主动学习）、数据增强（如对抗训练、生成式数据增强）。 3. 框架为中心：包括并行训练（如数据并行、模型并行）、硬件加速（如GPU优化、专用加速器）。

关键创新：该综述的关键创新在于其系统性和全面性。它不仅涵盖了各种高效LLM技术，还对这些技术进行了分类和分析，从而帮助研究人员更好地理解该领域的研究现状和未来趋势。

关键设计：该综述的关键设计在于其分类体系，它将高效LLM研究划分为模型、数据和框架三个维度，并对每个维度下的具体技术进行了详细的描述和分析。此外，该综述还提供了一个GitHub仓库，方便研究人员获取相关论文和代码。

📊 实验亮点

该综述的主要亮点在于其对高效LLM研究的系统性总结和分类，涵盖了模型压缩、数据优化和框架加速等多个方面。此外，论文还提供了一个GitHub仓库，方便研究人员获取相关资源，并跟踪该领域的最新进展。由于是综述类文章，没有具体的实验数据。

🎯 应用场景

该综述的研究成果可以应用于各种需要高效部署大型语言模型的场景，例如移动设备上的自然语言处理、边缘计算环境下的智能助手、以及资源受限的数据中心。通过采用综述中介绍的各种高效技术，可以降低LLM的计算和存储成本，使其能够在更广泛的领域得到应用。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities in important tasks such as natural language understanding and language generation, and thus have the potential to make a substantial impact on our society. Such capabilities, however, come with the considerable resources they demand, highlighting the strong need to develop effective techniques for addressing their efficiency challenges. In this survey, we provide a systematic and comprehensive review of efficient LLMs research. We organize the literature in a taxonomy consisting of three main categories, covering distinct yet interconnected efficient LLMs topics from model-centric, data-centric, and framework-centric perspective, respectively. We have also created a GitHub repository where we organize the papers featured in this survey at https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey. We will actively maintain the repository and incorporate new research as it emerges. We hope our survey can serve as a valuable resource to help researchers and practitioners gain a systematic understanding of efficient LLMs research and inspire them to contribute to this important and exciting field.