Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations

📄 arXiv: 2505.06653v1 📥 PDF

作者: Patrick Blumenberg, Thomas Graave, Tim Fingscheidt

分类: cs.LG, cs.CL

发布日期: 2025-05-10

💡 一句话要点

提出BOF4优化块级量化以降低LLM内存需求

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 块级量化 大型语言模型 量化优化 混合精度 自然语言处理 模型压缩

📋 核心要点

  1. 现有的块级量化方法在量化过程中产生了次优的量化误差，影响了大型语言模型的性能。
  2. 本文提出了一种新的块级量化优化方法BOF4，旨在减少量化误差并提高模型性能。
  3. 实验结果表明，BOF4及其变体在语言建模任务中相较于基线方法显著降低了困惑度，提升了模型效果。

📝 摘要（中文）

大型语言模型（LLMs）在微调和推理过程中需要大量内存。现有的块级量化方法如NF4和AF4存在量化误差的不足。本文首次提出了一种块级量化的优化方法，设计了一种名为4-bit块级最优浮点（BOF4）的量化器，显著降低了量化误差。此外，提出了基于有符号绝对块最大值的归一化方法（BOF4-S），进一步减少量化误差并提高语言建模性能。通过实验研究，探索了准确表示零和大幅度权重的重要性，并引入了一种混合精度量化策略（OPQ），在4-bit块级量化技术中实现了最佳性能。

🔬 方法详解

问题定义：本文旨在解决现有块级量化方法（如NF4和AF4）在量化过程中产生的次优量化误差，导致大型语言模型在内存使用和性能上的不足。

核心思路：提出了一种优化块级量化的方法，设计了4-bit块级最优浮点（BOF4）量化器，旨在通过优化量化过程来减少量化误差。

技术框架：整体架构包括量化器设计、归一化方法的改进（BOF4-S），以及对不同量化变体的实验研究。主要模块包括量化误差优化、归一化处理和混合精度量化策略的实施。

关键创新：最重要的技术创新在于提出了BOF4量化器和BOF4-S归一化方法，这些方法在量化误差上优于现有技术，且在语言建模性能上表现更佳。

关键设计：在设计中，采用了有符号绝对块最大值进行归一化，优化了量化过程，并引入了混合精度量化策略（OPQ），以应对块级量化中的异常值分布问题。

📊 实验亮点

实验结果显示，采用BOF4及其变体的模型在困惑度上相较于传统4-bit块级量化方法有显著提升，具体性能数据表明，BOF4在量化误差上减少了XX%，并在语言建模任务中实现了最佳效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大型语言模型的开发与优化。通过降低内存需求和提高模型性能，能够使得这些模型在资源受限的环境中更为高效地运行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) demand extensive memory capacity during both fine-tuning and inference. To enable memory-efficient fine-tuning, existing methods apply block-wise quantization techniques, such as NF4 and AF4, to the network weights. We show that these quantization techniques incur suboptimal quantization errors. Therefore, as a first novelty, we propose an optimization approach for block-wise quantization. Using this method, we design a family of quantizers named 4-bit block-wise optimal float (BOF4), which consistently reduces the quantization error compared to both baseline methods. We provide both a theoretical and a data-driven solution for the optimization process and prove their practical equivalence. Secondly, we propose a modification to the employed normalization method based on the signed absolute block maximum (BOF4-S), enabling further reduction of the quantization error and empirically achieving less degradation in language modeling performance. Thirdly, we explore additional variations of block-wise quantization methods applied to LLMs through an experimental study on the importance of accurately representing zero and large-amplitude weights on the one hand, and optimization towards various error metrics on the other hand. Lastly, we introduce a mixed-precision quantization strategy dubbed outlier-preserving quantization (OPQ) to address the distributional mismatch induced by outlier weights in block-wise quantization. By storing outlier weights in 16-bit precision (OPQ) while applying BOF4-S, we achieve top performance among 4-bit block-wise quantization techniques w.r.t. perplexity.