DB-LLM: Accurate Dual-Binarization for Efficient LLMs

📄 arXiv: 2402.11960v1 📥 PDF

作者: Hong Chen, Chengtao Lv, Liang Ding, Haotong Qin, Xiabin Zhou, Yifu Ding, Xuebo Liu, Min Zhang, Jinyang Guo, Xianglong Liu, Dacheng Tao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-19

💡 一句话要点

提出DB-LLM以解决超低位量化带来的准确性下降问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 超低位量化 双重二值化 偏差感知蒸馏 计算效率 自然语言处理 模型优化

📋 核心要点

  1. 现有的超低位量化方法在提高计算效率的同时，往往导致模型准确性显著下降，限制了其实际应用。
  2. 本文提出的DB-LLM通过灵活的双重二值化和偏差感知蒸馏技术，解决了超低位量化带来的准确性和效率问题。
  3. 实验结果显示，DB-LLM在超低位量化中显著超越了当前最先进技术，困惑度降低了20%，计算消耗也减少了20%。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但其高昂的内存和计算消耗限制了实际应用。量化是提高LLMs计算效率的有效方法，但现有的超低位量化常导致严重的准确性下降。本文提出了一种新颖的双重二值化方法DB-LLM，通过灵活的双重二值化（FDB）和偏差感知蒸馏（DAD）技术，显著提升了超低位量化的性能。实验结果表明，DB-LLM在超低位量化中超越了当前的最先进技术，困惑度从9.64降低至7.23，同时在相同位宽下实现了20%的计算消耗减少。

🔬 方法详解

问题定义：本文旨在解决超低位量化导致的模型准确性下降问题。现有方法在追求计算效率的同时，往往忽视了量化后模型的表现，导致准确性显著下降。

核心思路：DB-LLM的核心思路是结合2位宽量化的准确性和二值化的高效性，通过灵活的双重二值化（FDB）和偏差感知蒸馏（DAD）来提升模型的表现。FDB通过将2位量化权重拆分为两个独立的二值集合，确保了表示的准确性，同时利用二值化的高效位运算。

技术框架：DB-LLM的整体架构包括两个主要模块：灵活的双重二值化（FDB）和偏差感知蒸馏（DAD）。FDB模块负责权重的二值化处理，而DAD模块则通过关注样本的不同偏差来优化模型的预测。

关键创新：DB-LLM的最重要创新在于引入了灵活的双重二值化和偏差感知蒸馏，前者通过独立的二值集合保持了准确性，后者则使模型能够更好地处理样本的模糊性。这与现有方法的单一量化策略形成了鲜明对比。

关键设计：在设计上，FDB采用了灵活的参数设置，以适应不同的任务需求；DAD则引入了新的损失函数，使模型能够更好地关注样本的偏差。此外，网络结构经过优化，以支持高效的二值化运算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DB-LLM在超低位量化方面的实验结果显示，困惑度从9.64降低至7.23，显著超越了当前最先进的技术。同时，在相同位宽下，计算消耗减少了20%，展示了其在效率和准确性上的双重优势。

🎯 应用场景

DB-LLM的研究成果在多个领域具有广泛的应用潜力，尤其是在资源受限的环境中，如移动设备和边缘计算。通过提高大型语言模型的计算效率和准确性，该方法能够推动自然语言处理技术在实际应用中的普及，促进智能助手、自动翻译和文本生成等领域的发展。

📄 摘要（原文）

Large language models (LLMs) have significantly advanced the field of natural language processing, while the expensive memory and computation consumption impede their practical deployment. Quantization emerges as one of the most effective methods for improving the computational efficiency of LLMs. However, existing ultra-low-bit quantization always causes severe accuracy drops. In this paper, we empirically relieve the micro and macro characteristics of ultra-low bit quantization and present a novel Dual-Binarization method for LLMs, namely DB-LLM. For the micro-level, we take both the accuracy advantage of 2-bit-width and the efficiency advantage of binarization into account, introducing Flexible Dual Binarization (FDB). By splitting 2-bit quantized weights into two independent sets of binaries, FDB ensures the accuracy of representations and introduces flexibility, utilizing the efficient bitwise operations of binarization while retaining the inherent high sparsity of ultra-low bit quantization. For the macro-level, we find the distortion that exists in the prediction of LLM after quantization, which is specified as the deviations related to the ambiguity of samples. We propose the Deviation-Aware Distillation (DAD) method, enabling the model to focus differently on various samples. Comprehensive experiments show that our DB-LLM not only significantly surpasses the current State-of-The-Art (SoTA) in ultra-low bit quantization (eg, perplexity decreased from 9.64 to 7.23), but also achieves an additional 20\% reduction in computational consumption compared to the SOTA method under the same bit-width. Our code will be released soon.