LQER: Low-Rank Quantization Error Reconstruction for LLMs

📄 arXiv: 2402.02446v3 📥 PDF

作者: Cheng Zhang, Jianyi Cheng, George A. Constantinides, Yiren Zhao

分类: cs.LG, cs.CL

发布日期: 2024-02-04 (更新: 2024-05-30)

备注: Accepted at ICML2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出低秩量化误差重构方法以提升大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 低秩近似 大语言模型 后训练优化 模型压缩 自然语言处理

📋 核心要点

  1. 现有大语言模型的后训练量化方法面临性能损失和资源消耗高的问题，难以实现高效的模型压缩。
  2. 本文提出的LQER方法通过结合量化与低秩近似，利用激活诱导的尺度矩阵优化量化误差分布，提升模型性能。
  3. 实验结果表明，W4A8 LLM在六个下游任务上实现了接近无损的性能，同时硬件资源消耗减少了1.36倍，显示出显著的效率提升。

📝 摘要（中文）

后训练量化大语言模型（LLMs）面临诸多挑战。本文提出低秩量化误差减少（LQER）方法，结合量化与低秩近似，恢复模型能力。LQER利用激活诱导的尺度矩阵，引导量化误差的奇异值分布趋向理想分布，实现几乎无损的W4A8量化，适用于多种LLMs及下游任务，无需知识蒸馏、网格搜索或基于梯度的迭代优化。与现有方法不同，LQER的计算模式消除了从不规则内存位置收集高精度权重所需的专用Scatter和Gather过程。我们的W4A8 LLM在六个流行下游任务上实现了接近无损的性能，同时使用的硬件资源比领先的最先进方法少1.36倍。我们已将框架开源。

🔬 方法详解

问题定义：本文旨在解决大语言模型后训练量化过程中性能损失和资源消耗高的问题。现有方法往往需要复杂的知识蒸馏和优化过程，导致效率低下。

核心思路：LQER方法通过结合量化与低秩近似，利用激活诱导的尺度矩阵来优化量化误差的奇异值分布，从而实现几乎无损的量化效果。这样的设计使得模型在量化后仍能保持较高的性能。

技术框架：LQER的整体架构包括量化模块和低秩近似模块。首先，通过激活诱导的尺度矩阵调整量化误差的分布，然后进行低秩近似以恢复模型能力。该框架避免了传统方法中复杂的Scatter和Gather过程。

关键创新：LQER的主要创新在于通过激活诱导的尺度矩阵优化量化误差分布，消除了对高精度权重收集的需求。这一方法与现有技术相比，显著简化了计算过程并提高了效率。

关键设计：在LQER中，关键参数设置包括激活诱导的尺度矩阵的构造方式，以及量化过程中奇异值的调整策略。此外，损失函数设计上注重量化误差的最小化，以确保模型性能的恢复。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用LQER的W4A8 LLM在六个流行下游任务上实现了接近无损的性能，同时硬件资源消耗比当前最先进的方法减少了1.36倍，展现出显著的性能提升和资源效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提升大语言模型的量化效率，LQER方法能够在资源受限的环境中实现高效的模型部署，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Post-training quantization of Large Language Models (LLMs) is challenging. In this work, we introduce Low-rank Quantization Error Reduction (LQER), which combines quantization and low-rank approximation to recover the model capability. LQER leverages an activation-induced scale matrix to drive the singular value distribution of quantization error towards a desirable distribution, which enables nearly-lossless W4A8 quantization on various LLMs and downstream tasks without the need for knowledge distillation, grid search, or gradient-base iterative optimization. Unlike existing methods, the computation pattern of LQER eliminates the need for specialized Scatter and Gather processes to collect high-precision weights from irregular memory locations. Our W4A8 LLMs achieve near-lossless performance on six popular downstream tasks, while using 1.36$\times$ fewer hardware resources than the leading state-of-the-art method. We open-source our framework at https://github.com/ChengZhang-98/lqer