OneBit: Towards Extremely Low-bit Large Language Models

📄 arXiv: 2402.11295v6 📥 PDF

作者: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

分类: cs.CL

发布日期: 2024-02-17 (更新: 2024-11-29)

备注: Accepted by NeurIPS 2024

💡 一句话要点

提出OneBit框架以实现极低位宽的大型语言模型量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型量化 低位宽 大型语言模型 OneBit框架 参数初始化 矩阵分解 自然语言处理 深度学习

📋 核心要点

  1. 现有的量化方法在极低位宽下（如1位）性能显著下降，限制了大型语言模型的实际应用。
  2. 本文提出的OneBit框架通过新颖的1位参数表示和矩阵分解初始化方法，解决了低位宽量化的收敛性问题。
  3. 实验结果显示，OneBit在LLaMA模型上实现了至少81%的非量化性能，表明其有效性和鲁棒性。

📝 摘要（中文）

模型量化通过使用低位宽值来表示现有模型的权重矩阵，是减少存储和计算开销的有效方法。然而，现有量化方法在极低位宽下性能严重下降，通常集中在4位或8位量化。本文大胆地将大型语言模型的权重矩阵量化至1位，提出了名为OneBit的1位模型压缩框架，包含一种新颖的1位参数表示方法和基于矩阵分解的有效参数初始化方法，以提高量化框架的收敛速度。实验结果表明，OneBit在仅使用1位权重矩阵的情况下，能够实现良好的性能（至少达到LLaMA模型非量化性能的81%）并保持稳健的训练过程。

🔬 方法详解

问题定义：本文旨在解决在极低位宽（1位）下进行大型语言模型量化时的性能下降问题。现有方法通常集中在4位或8位量化，导致在极低位宽下无法有效应用。

核心思路：OneBit框架的核心思想是通过引入新颖的1位参数表示方法和基于矩阵分解的参数初始化，来提升量化模型的训练收敛速度和性能。

技术框架：OneBit框架包括两个主要模块：1位参数表示模块和参数初始化模块。前者负责将权重矩阵压缩为1位表示，后者则通过矩阵分解技术优化初始化过程，以加速训练。

关键创新：OneBit的主要创新在于其1位参数表示方法和基于矩阵分解的初始化策略，这与现有的4位或8位量化方法有本质区别，能够在极低位宽下保持较高的模型性能。

关键设计：在参数表示方面，OneBit采用了一种新的编码方式来表示权重，确保信息的有效传递。同时，初始化阶段通过矩阵分解技术，优化了参数的初始值设置，从而提高了训练的收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OneBit在LLaMA模型上实现了至少81%的非量化性能，显示出其在极低位宽量化下的有效性。此外，OneBit在训练过程中表现出良好的鲁棒性，能够稳定地收敛，显著提升了模型的实用性。

🎯 应用场景

OneBit框架的潜在应用领域包括资源受限的设备上部署大型语言模型，如移动设备和边缘计算环境。其极低位宽的特性使得在存储和计算资源有限的情况下，仍能实现高效的自然语言处理任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Model quantification uses low bit-width values to represent the weight matrices of existing models to be quantized, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, current quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit model compressing framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the quantization framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 81% of the non-quantized performance on LLaMA models) with robust training processes when only using 1-bit weight matrices.