APTQ: Attention-aware Post-Training Mixed-Precision Quantization for Large Language Models

📄 arXiv: 2402.14866v2 📥 PDF

作者: Ziyi Guan, Hantao Huang, Yupeng Su, Hong Huang, Ngai Wong, Hao Yu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-21 (更新: 2024-04-16)

备注: 6 pages, 2 figures, published to DAC 2024: 61st IEEE/ACM Design Automation Conference. (DAC'24)

DOI: 10.1145/3649329.3658498

💡 一句话要点

提出APTQ以解决大语言模型的量化部署问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 混合精度量化 后训练 注意力机制 Hessian迹 边缘计算 自然语言处理

📋 核心要点

  1. 现有的大语言模型在边缘设备上的部署面临高计算负载和模型尺寸庞大的挑战。
  2. APTQ通过考虑权重的二阶信息和注意力输出的非线性影响，提出了一种新的混合精度量化方法。
  3. 实验结果显示，APTQ在多个基准数据集上超越了传统量化方法，显著提升了模型性能。

📝 摘要（中文）

大语言模型（LLMs）在自然语言处理领域取得了显著进展，但其高计算负载和庞大的模型尺寸给边缘设备的部署带来了挑战。为此，本文提出了APTQ（注意力感知后训练混合精度量化），首次考虑了每层权重的二阶信息以及注意力输出对整个模型的非线性影响。我们利用Hessian迹作为混合精度量化的敏感性度量，确保在降低精度的同时保持模型性能。实验结果表明，APTQ超越了以往的量化方法，在C4数据集上以4位宽度实现了5.22的困惑度，几乎与全精度相当。此外，APTQ在LLaMa-7B和LLaMa-13B模型中分别以平均3.8位宽度达到了68.24%和70.48%的零-shot准确率，展示了其在生成高质量量化LLMs方面的有效性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在边缘设备部署中的高计算负载和模型尺寸问题。现有的量化方法往往忽视了模型内部复杂的非线性关系，导致性能损失。

核心思路：APTQ的核心思路是结合每层权重的二阶信息与注意力输出的非线性效应，利用Hessian迹作为量化的敏感性度量，从而实现更为精确的混合精度量化。

技术框架：APTQ的整体架构包括数据预处理、Hessian迹计算、量化策略设计和模型评估四个主要模块。首先，通过计算Hessian迹评估每层的敏感性，然后根据评估结果进行精度调整，最后对量化后的模型进行性能评估。

关键创新：APTQ的主要创新在于首次将注意力机制的非线性影响纳入量化过程，显著提升了量化模型的性能。这一设计与传统方法的线性假设形成鲜明对比。

关键设计：在参数设置上，APTQ采用了动态调整的量化策略，结合了不同层的敏感性信息。此外，损失函数设计上考虑了量化误差与模型性能之间的平衡，确保量化后的模型在实际应用中依然保持高效性。

📊 实验亮点

APTQ在C4数据集上以4位宽度实现了5.22的困惑度，几乎与全精度模型相当。同时，在LLaMa-7B和LLaMa-13B模型中，APTQ分别达到了68.24%和70.48%的零-shot准确率，显示出其在量化模型中的优越性和有效性。

🎯 应用场景

APTQ的研究成果在边缘计算、移动设备和资源受限环境中具有广泛的应用潜力。通过有效地量化大语言模型，APTQ能够在不牺牲性能的前提下，推动智能助手、自然语言处理应用和实时翻译等技术的普及与发展。

📄 摘要（原文）

Large Language Models (LLMs) have greatly advanced the natural language processing paradigm. However, the high computational load and huge model sizes pose a grand challenge for deployment on edge devices. To this end, we propose APTQ (Attention-aware Post-Training Mixed-Precision Quantization) for LLMs, which considers not only the second-order information of each layer's weights, but also, for the first time, the nonlinear effect of attention outputs on the entire model. We leverage the Hessian trace as a sensitivity metric for mixed-precision quantization, ensuring an informed precision reduction that retains model performance. Experiments show APTQ surpasses previous quantization methods, achieving an average of 4 bit width a 5.22 perplexity nearly equivalent to full precision in the C4 dataset. In addition, APTQ attains state-of-the-art zero-shot accuracy of 68.24\% and 70.48\% at an average bitwidth of 3.8 in LLaMa-7B and LLaMa-13B, respectively, demonstrating its effectiveness to produce high-quality quantized LLMs.