BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
作者: Wei Huang, Yangdong Liu, Haotong Qin, Ying Li, Shiming Zhang, Xianglong Liu, Michele Magno, Xiaojuan Qi
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-02-06 (更新: 2024-05-15)
备注: 19 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出BiLLM以解决大语言模型后训练量化性能不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后训练量化 大语言模型 二值化 模型压缩 深度学习 性能优化 权重选择
📋 核心要点
- 现有的量化技术在超低位宽下无法维持大语言模型的性能，导致模型压缩效果不理想。
- BiLLM通过识别显著权重并采用二进制残差近似策略，优化了后训练量化过程，显著降低了压缩损失。
- BiLLM在LLaMA2-70B上实现了8.41的困惑度，且在0.5小时内完成70亿权重模型的二值化，性能大幅提升。
📝 摘要（中文）
预训练的大语言模型（LLMs）展现出卓越的语言处理能力，但对内存和计算资源的需求极高。作为一种强大的压缩技术，二值化可以将模型权重极大地减少到仅1位，从而降低计算和内存需求。然而，现有的量化技术在超低位宽下无法维持LLM的性能。为应对这一挑战，我们提出了BiLLM，这是一种针对预训练LLM的创新1位后训练量化方案。BiLLM基于LLM的权重分布，首先识别并结构性选择显著权重，通过有效的二进制残差近似策略最小化压缩损失。此外，考虑到非显著权重的钟形分布，我们提出了最优分割搜索，以准确分组和二值化它们。BiLLM首次在多种LLM家族和评估指标上实现了高精度推理（例如，LLaMA2-70B上的8.41困惑度），并在权重仅为1.08位的情况下显著超越了现有的量化方法。此外，BiLLM在单个GPU上能够在0.5小时内完成对拥有70亿权重的LLM的二值化，展现出令人满意的时间效率。
🔬 方法详解
问题定义：本论文旨在解决现有后训练量化技术在超低位宽下无法有效维持大语言模型性能的问题。现有方法在压缩模型时，往往导致性能显著下降，无法满足实际应用需求。
核心思路：论文提出的BiLLM方案通过识别和选择显著权重，并结合二进制残差近似策略，旨在最小化压缩损失，从而在极低位宽下保持模型性能。
技术框架：BiLLM的整体架构包括权重选择模块、二进制残差近似模块和最优分割搜索模块。首先，识别显著权重，然后对非显著权重进行分组和二值化处理。
关键创新：BiLLM的主要创新在于其能够在仅1位权重的情况下，实现高精度推理，且在处理速度上也有显著提升。这一方法与现有技术相比，能够更有效地利用权重分布信息。
关键设计：在设计中，BiLLM采用了有效的损失函数来优化压缩过程，并通过最优分割搜索策略确保非显著权重的准确分组和二值化，提升了整体性能。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
BiLLM在LLaMA2-70B模型上实现了8.41的困惑度，且在权重仅为1.08位的情况下，显著超越了现有的量化方法。此外，BiLLM在单个GPU上完成70亿权重模型的二值化仅需0.5小时，展现出优越的时间效率和性能提升。
🎯 应用场景
BiLLM的研究成果在多个领域具有广泛的应用潜力，尤其是在资源受限的环境中，如移动设备和边缘计算。通过有效的模型压缩，BiLLM能够使得大语言模型在低功耗设备上高效运行，推动智能助手、自动翻译和对话系统等应用的发展。未来，BiLLM的技术可以进一步扩展到其他类型的深度学习模型，促进更广泛的AI应用。
📄 摘要（原文）
Pretrained large language models (LLMs) exhibit exceptional general language processing capabilities but come with significant demands on memory and computational resources. As a powerful compression technology, binarization can extremely reduce model weights to a mere 1 bit, lowering the expensive computation and memory requirements. However, existing quantization techniques fall short of maintaining LLM performance under ultra-low bit-widths. In response to this challenge, we present BiLLM, a groundbreaking 1-bit post-training quantization scheme tailored for pretrained LLMs. Based on the weight distribution of LLMs, BiLLM first identifies and structurally selects salient weights, and minimizes the compression loss through an effective binary residual approximation strategy. Moreover, considering the bell-shaped distribution of the non-salient weights, we propose an optimal splitting search to group and binarize them accurately. BiLLM achieving for the first time high-accuracy inference (e.g. 8.41 perplexity on LLaMA2-70B) with only 1.08-bit weights across various LLMs families and evaluation metrics, outperforms SOTA quantization methods of LLM by significant margins. Moreover, BiLLM enables the binarization process of the LLM with 7 billion weights within 0.5 hours on a single GPU, demonstrating satisfactory time efficiency. Our code is available at https://github.com/Aaronhuang-778/BiLLM.