IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact

📄 arXiv: 2403.01241v2 📥 PDF

作者: Ruikang Liu, Haoli Bai, Haokun Lin, Yuening Li, Han Gao, Zhengzhuo Xu, Lu Hou, Jun Yao, Chun Yuan

分类: cs.CL, cs.AI

发布日期: 2024-03-02 (更新: 2024-05-25)

备注: Accepted by ACL 2024 findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出IntactKV以解决大语言模型量化性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 量化方法 枢轴标记 KV缓存 性能提升 自然语言处理 机器学习

📋 核心要点

  1. 现有的量化方法在降低计算需求的同时，往往会显著影响大语言模型的性能，尤其是在处理初始标记时。
  2. 本文提出IntactKV方法，专注于无损生成枢轴标记的KV缓存，从而保持量化模型的性能。
  3. 实验结果表明，IntactKV在多种量化方法和不同LLM上均实现了显著的性能提升，成为该领域的新标杆。

📝 摘要（中文）

大语言模型（LLMs）在自然语言处理领域表现优异，但计算需求极高。为降低计算负担，研究者们探索了多种量化方法，但这些方法往往会影响LLM的性能。本文揭示了一种被忽视的LLM异常值类型，这些异常值主要集中在输入的初始标记上，称为枢轴标记，这对量化LLM的性能至关重要。为此，我们提出了IntactKV，从全精度模型中无损生成枢轴标记的KV缓存。该方法简单易于与现有量化方案结合，且没有额外的推理开销。此外，IntactKV可以作为额外的LLM参数进行校准，以在最小训练成本下进一步提升量化LLM的性能。数学分析证明，IntactKV有效降低了量化误差的上限。实验证明，IntactKV在不同LLM和下游任务中对各种量化方法均带来了持续的性能提升，成为LLM量化的新状态-of-the-art。

🔬 方法详解

问题定义：当前大语言模型的量化方法在降低计算复杂度的同时，往往会导致性能下降，尤其是在处理输入的初始标记时，这些标记被称为枢轴标记。

核心思路：本文提出IntactKV，通过无损地从全精度模型中生成枢轴标记的KV缓存，旨在保持量化模型的性能，避免传统量化方法带来的性能损失。

技术框架：IntactKV的整体架构包括从全精度模型提取枢轴标记的KV缓存，并将其与现有的量化方案结合，形成一个无额外推理开销的高效量化模型。

关键创新：IntactKV的主要创新在于识别并保留枢轴标记的KV缓存，这一设计与传统量化方法的根本区别在于不牺牲性能的前提下实现量化。

关键设计：在实现过程中，IntactKV的关键设计包括对枢轴标记的精确识别、KV缓存的无损生成，以及与现有量化方案的兼容性，确保在最小训练成本下实现性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IntactKV在多种量化方法上均实现了显著的性能提升，具体而言，在不同的LLM和下游任务中，量化模型的性能提升幅度达到了X%（具体数据需根据实验结果填写），成为该领域的新标杆。

🎯 应用场景

IntactKV的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效处理自然语言的任务中，如机器翻译、对话系统和文本生成等。通过提升量化模型的性能，该方法能够在资源受限的环境中实现更高效的推理，推动大语言模型的实际应用和普及。

📄 摘要（原文）

Large language models (LLMs) excel in natural language processing but demand intensive computation. To mitigate this, various quantization methods have been explored, yet they compromise LLM performance. This paper unveils a previously overlooked type of outliers in LLMs. Such outliers are found to allocate most of the attention scores on initial tokens of input, termed as pivot tokens, which are crucial to the performance of quantized LLMs. Given that, we propose IntactKV to generate the KV cache of pivot tokens losslessly from the full-precision model. The approach is simple and easy to combine with existing quantization solutions with no extra inference overhead. Besides, IntactKV can be calibrated as additional LLM parameters to boost the quantized LLMs further with minimal training costs. Mathematical analysis also proves that IntactKV effectively reduces the upper bound of quantization error. Empirical results show that IntactKV brings consistent improvement over various quantization methods across different LLMs and downstream tasks, leading to the new state-of-the-art for LLM quantization. The codes are available at https://github.com/ruikangliu/IntactKV.