Enhancing Computation Efficiency in Large Language Models through Weight and Activation Quantization
作者: Janghwan Lee, Minsoo Kim, Seungcheol Baek, Seok Joong Hwang, Wonyong Sung, Jungwook Choi
分类: cs.CL
发布日期: 2023-11-09 (更新: 2024-07-18)
备注: EMNLP 2023 Main Conference. Corrected an error in the first author name
💡 一句话要点
通过W4A8量化提升大语言模型计算效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 后训练量化 激活量化 序列长度校准 混合数据格式 计算效率 自然语言处理 硬件优化
📋 核心要点
- 现有的大语言模型在计算效率上存在挑战，尤其是在权重和激活的量化方面，限制了其实际应用。
- 本文提出了W4A8量化方法，结合激活量化感知缩放和序列长度感知校准，优化了后训练量化过程。
- 实验结果显示，所提方法在多个LLM上显著提升了任务准确性，并实现了2倍的硬件效率提升。
📝 摘要（中文）
大语言模型（LLMs）在自然语言处理任务中表现出色，但其庞大的参数规模和计算需求限制了其部署。本文聚焦于后训练量化（PTQ），特别是4位权重和8位激活（W4A8）量化，以提高计算效率。我们提出了两种创新技术：激活量化感知缩放（AQAS）和序列长度感知校准（SLAC），通过考虑权重和激活的综合影响以及校准序列长度与目标任务的对齐来增强PTQ。此外，我们引入了混合数据格式dINT，以解决W4A8量化中的下溢问题。通过对OPT和LLaMA等LLMs的严格评估，我们证明了这些技术显著提升了任务准确性，达到了与全精度模型相当的水平。通过开发与dINT兼容的算术单元，我们进一步确认了这些方法在硬件效率上相比8位整数MAC单元提高了2倍。
🔬 方法详解
问题定义：本文旨在解决大语言模型在部署时由于参数规模和计算需求过高而导致的效率问题。现有的量化方法多集中于权重量化，缺乏对激活的有效处理，导致计算效率低下。
核心思路：我们提出的W4A8量化方法，通过激活量化感知缩放（AQAS）和序列长度感知校准（SLAC），综合考虑权重和激活的影响，优化了后训练量化过程。这样的设计使得量化过程更具针对性，能够更好地适应特定任务的需求。
技术框架：整体架构包括两个主要模块：首先是AQAS模块，通过动态调整激活的缩放因子来提高量化精度；其次是SLAC模块，针对不同任务的序列长度进行校准，以确保量化后的模型在实际应用中的表现。
关键创新：本文的关键创新在于同时考虑权重和激活的量化，尤其是引入了dINT混合数据格式，解决了W4A8量化中小值下溢的问题。这一创新与传统的仅权重量化方法有本质区别。
关键设计：在参数设置上，AQAS和SLAC模块的设计考虑了任务特性，损失函数采用了针对量化误差的优化策略，网络结构则通过引入dINT格式来增强对小值的表示能力。整体设计旨在提升量化后的模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的W4A8量化方法在多个大语言模型（如OPT和LLaMA）上显著提升了任务准确性，达到了与全精度模型相当的水平。此外，采用dINT格式的算术单元使得硬件效率提升了2倍，相比于传统的8位整数MAC单元，展现了显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统和机器翻译等。通过提高大语言模型的计算效率，能够使其在资源受限的环境中更广泛地应用，推动智能应用的发展。未来，随着技术的进一步成熟，可能会在更多实际场景中实现高效的模型部署。
📄 摘要（原文）
Large Language Models (LLMs) are proficient in natural language processing tasks, but their deployment is often restricted by extensive parameter sizes and computational demands. This paper focuses on post-training quantization (PTQ) in LLMs, specifically 4-bit weight and 8-bit activation (W4A8) quantization, to enhance computational efficiency -- a topic less explored compared to weight-only quantization. We present two innovative techniques: activation-quantization-aware scaling (AQAS) and sequence-length-aware calibration (SLAC) to enhance PTQ by considering the combined effects on weights and activations and aligning calibration sequence lengths to target tasks. Moreover, we introduce dINT, a hybrid data format combining integer and denormal representations, to address the underflow issue in W4A8 quantization, where small values are rounded to zero. Through rigorous evaluations of LLMs, including OPT and LLaMA, we demonstrate that our techniques significantly boost task accuracies to levels comparable with full-precision models. By developing arithmetic units compatible with dINT, we further confirm that our methods yield a 2$\times$ hardware efficiency improvement compared to 8-bit integer MAC unit.