FlattenQuant: Breaking Through the Inference Compute-bound for Large Language Models with Per-tensor Quantization

📄 arXiv: 2402.17985v1 📥 PDF

作者: Yi Zhang, Fei Yang, Shuang Peng, Fangyu Wang, Aimin Pan

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-28

💡 一句话要点

提出FlattenQuant以解决大语言模型推理计算瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化方法 大语言模型 推理优化 计算瓶颈 矩阵乘法 低位数量化 扁平化技术

📋 核心要点

  1. 现有的量化方法在处理大批量或长序列推理时，仍然面临计算瓶颈，限制了大语言模型的实际应用。
  2. 本文提出FlattenQuant方法，通过扁平化张量中的大通道，降低张量最大值，实现低位数量化，保持较高的准确性。
  3. 实验结果显示，FlattenQuant在LLMs中实现了48.29%的线性层计算使用4位，整体性能提升显著，达到2倍加速和2.3倍内存减少。

📝 摘要（中文）

大语言模型（LLMs）在各种任务中表现出色，但推理延迟和GPU内存消耗限制了其部署性能。尽管已有一些高效的量化方法，但在大批量或长序列推理时仍面临计算瓶颈。本文提出FlattenQuant方法，通过扁平化张量中的大通道，显著降低张量的最大值，实现低位数的每个张量量化，且准确率损失最小。实验表明，FlattenQuant可以直接使用4位实现LLMs中线性层计算的48.29%，其余层使用8位。该方法引入的4位矩阵乘法有效解决了大矩阵计算引起的计算瓶颈，实现了高达2倍的加速和2.3倍的内存减少，且准确率损失微乎其微。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理中的计算瓶颈问题，现有的量化方法在大批量或长序列推理时仍然存在性能限制。

核心思路：FlattenQuant方法通过扁平化张量中的大通道，显著降低张量的最大值，从而实现低位数的每个张量量化，减少计算复杂度并保持准确性。

技术框架：该方法的整体架构包括张量扁平化、低位数量化和矩阵乘法优化三个主要模块。首先对张量进行扁平化处理，然后进行量化，最后优化矩阵乘法以提高计算效率。

关键创新：FlattenQuant的核心创新在于引入4位矩阵乘法，能够有效应对大矩阵计算带来的计算瓶颈，这一设计与传统的量化方法有本质区别。

关键设计：在参数设置上，FlattenQuant使用4位和8位的混合量化策略，确保在降低计算复杂度的同时，尽量减少准确率损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlattenQuant在LLMs中实现了48.29%的线性层计算使用4位，整体性能提升显著，达到2倍加速和2.3倍内存减少，且准确率损失微乎其微。这些结果表明该方法在实际应用中具有良好的可行性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和机器翻译等需要高效推理的大语言模型。通过降低推理延迟和内存消耗，FlattenQuant可以促进大语言模型在资源受限环境中的应用，提升其实际价值和影响力。

📄 摘要（原文）

Large language models (LLMs) have demonstrated state-of-the-art performance across various tasks. However, the latency of inference and the large GPU memory consumption of LLMs restrict their deployment performance. Recently, there have been some efficient attempts to quantize LLMs, yet inference with large batch size or long sequence still has the issue of being compute-bound. Fine-grained quantization methods have showcased their proficiency in achieving low-bit quantization for LLMs, while requiring FP16 data type for linear layer computations, which is time-consuming when dealing with large batch size or long sequence. In this paper, we introduce a method called FlattenQuant, which significantly reduces the maximum value of the tensor by flattening the large channels in the tensor, to achieve low bit per-tensor quantization with minimal accuracy loss. Our experiments show that FlattenQuant can directly use 4 bits to achieve 48.29% of the linear layer calculation in LLMs, with the remaining layers using 8 bits. The 4-bit matrix multiplication introduced in the FlattenQuant method can effectively address the compute-bound caused by large matrix calculation. Our work achieves up to 2$\times$ speedup and 2.3$\times$ memory reduction for LLMs with negligible loss in accuracy.