Extreme Compression of Large Language Models via Additive Quantization

📄 arXiv: 2401.06118v4 📥 PDF

作者: Vage Egiazarian, Andrei Panferov, Denis Kuznedelev, Elias Frantar, Artem Babenko, Dan Alistarh

分类: cs.LG, cs.CL

发布日期: 2024-01-11 (更新: 2024-09-11)

备注: ICML, 2024

💡 一句话要点

提出AQLM以实现极端压缩的大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 量化技术 模型压缩 加性量化 深度学习

📋 核心要点

  1. 现有的量化方法在极端压缩大型语言模型时面临准确性与模型大小之间的权衡挑战。
  2. AQLM算法通过学习加性量化和联合优化代码本参数，提供了一种新的压缩思路。
  3. 实验结果表明，AQLM在2位压缩情况下显著提升了模型的性能，且具备实用性。

📝 摘要（中文）

随着准确的开放大型语言模型（LLMs）的出现，针对其在终端设备上执行的高效量化技术的研究愈发重要。本文重新审视了极端LLM压缩问题，定义为针对每个参数仅使用2到3位的极低比特数。我们提出的算法AQLM通过两个创新点推进了LLM压缩的最新技术：1）以输入自适应方式学习的加性量化权重矩阵，2）跨每个变换块的代码本参数的联合优化。AQLM是首个在压缩到每个参数少于3位时在准确性与模型大小之间达到帕累托最优的方案，并在极端压缩（2位）领域显著优于所有已知方案。此外，我们提供了AQLM的快速GPU和CPU实现，能够在更小的内存占用下匹配或超越优化的FP16实现的速度。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在极端压缩时的准确性与模型大小之间的平衡问题。现有方法在压缩到极低比特数时，往往无法保持模型的性能，导致实际应用受限。

核心思路：AQLM算法通过引入学习的加性量化方法，使得权重矩阵的量化过程能够根据输入自适应调整，从而提高压缩效果。同时，通过联合优化每个变换块的代码本参数，进一步提升了模型的整体性能。

技术框架：AQLM的整体架构包括两个主要模块：1）输入自适应的加性量化模块，负责对权重矩阵进行量化；2）联合优化模块，针对每个变换块的代码本参数进行优化。该框架通过迭代优化实现高效的压缩。

关键创新：AQLM的核心创新在于其学习的加性量化方法和跨变换块的联合优化策略。这与传统的量化方法不同，后者通常是静态的，无法根据输入动态调整。

关键设计：在参数设置上，AQLM采用了适应性学习率和特定的损失函数，以确保在压缩过程中保持模型的准确性。网络结构上，AQLM在每个变换块中引入了新的代码本设计，以实现更高效的量化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AQLM在2位压缩情况下的模型性能显著优于现有的所有方案，且在速度上能够与优化的FP16实现相媲美，内存占用显著降低。这表明AQLM在极端压缩领域的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的自然语言处理、实时语音识别和智能助手等。通过极端压缩，AQLM能够使大型语言模型在资源受限的环境中高效运行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

The emergence of accurate open large language models (LLMs) has led to a race towards performant quantization techniques which can enable their execution on end-user devices. In this paper, we revisit the problem of "extreme" LLM compression-defined as targeting extremely low bit counts, such as 2 to 3 bits per parameter-from the point of view of classic methods in Multi-Codebook Quantization (MCQ). Our algorithm, called AQLM, generalizes the classic Additive Quantization (AQ) approach for information retrieval to advance the state-of-the-art in LLM compression, via two innovations: 1) learned additive quantization of weight matrices in input-adaptive fashion, and 2) joint optimization of codebook parameters across each transformer blocks. Broadly, AQLM is the first scheme that is Pareto optimal in terms of accuracy-vs-model-size when compressing to less than 3 bits per parameter, and significantly improves upon all known schemes in the extreme compression (2bit) regime. In addition, AQLM is practical: we provide fast GPU and CPU implementations of AQLM for token generation, which enable us to match or outperform optimized FP16 implementations for speed, while executing in a much smaller memory footprint.