Calibration of Large Model Quantization based on HiFloat4 Format

📄 arXiv: 2610.41112v1 📥 PDF

作者: Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出基于HiFloat4格式的模型量化校准方法以提升推理精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型量化 HiFloat4 校准方法 推理精度 块浮点格式 大规模语言模型 深度学习

📋 核心要点

  1. 现有的量化方法在处理HiFloat4格式时存在不足，主要集中在整数精度格式，导致精度下降问题严重。
  2. 本文提出了三种新的校准方法，HiGPTQ、HiAutoRound和HiFlatQuant，旨在提升HiF4格式下的模型推理精度。
  3. 实验结果显示，所提方法在多种模型和任务中均显著提升了推理精度，HiF4与BF16的性能差距缩小至1%以下。

📝 摘要（中文）

大规模语言模型（LLMs）的量化在降低计算成本和资源需求方面变得愈发重要。随着对4位精度的关注增加，HiFloat4（HiF4）作为一种新兴的竞争性替代方案，通过采用具有三级缩放层次结构的块浮点（BFP）格式，显著提升了动态范围。尽管量化可以显著减少内存使用并加速推理，但常常会引入精度下降。因此，校准对于缩小低精度量化模型与全精度模型之间的性能差距至关重要。现有的校准方法主要针对整数精度格式，缺乏对HiF4的支持。本文探讨了三种校准方法，即HiGPTQ、HiAutoRound和HiFlatQuant，以进一步增强基于HiF4格式的模型量化。实验表明，所有三种方法均提高了推理精度，将HiF4与BF16之间的差距缩小到1%以下，并在多种模型和下游任务中超越了最先进的NVFP4格式。

🔬 方法详解

问题定义：本文旨在解决现有量化方法在HiFloat4格式下的校准不足，特别是由于其层次化BFP结构而导致的精度下降问题。

核心思路：提出三种新的校准方法，旨在通过优化量化过程来提升模型的推理精度，特别是针对HiF4格式的特性进行设计。

技术框架：整体框架包括三个主要模块：HiGPTQ用于全局量化，HiAutoRound用于自动化调整，HiFlatQuant用于平坦化量化过程。每个模块均针对HiF4的特性进行了优化。

关键创新：最重要的创新在于提出了针对HiF4格式的专用校准方法，这些方法能够有效减少量化带来的精度损失，与传统的整数格式校准方法相比具有本质区别。

关键设计：在参数设置上，针对不同模型和任务进行了细致的调优，损失函数设计上考虑了量化误差的最小化，网络结构上则采用了适应HiF4的特定架构。

📊 实验亮点

实验结果显示，所提出的三种校准方法均显著提高了推理精度，HiF4与BF16之间的性能差距缩小至1%以下。此外，所有方法在多种模型和下游任务中均超越了现有的NVFP4格式，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的实际部署，尤其是在资源受限的环境中。通过提升量化模型的推理精度，能够更好地满足实际应用需求，推动AI技术在各行业的广泛应用。

📄 摘要（原文）

Quantization of Large Language Models (LLMs) has be- coming increasingly important for reducing the computa- tional costs and resource requirements for practical deploy- ment.Growinginterestinthisareahasmotivatedthecommu- nity to move beyond 8-bit quantization towards 4-bit preci- sion, leading to the development of customized 4-bit formats such as MXFP4 and NVFP4. Recently, HiFloat4 (HiF4) has emerged as a competitive alternative which adopts a Block Floating-Point(BFP)formatwithathree-levelscalinghierar- chy, thereby achieving a significantly larger dynamic range. While quantization can substantially reduce memory usage and accelerate inference, it frequently introduces accuracy degradation. Calibration is therefore essential for narrowing theperformancegapbetweenlow-precisionquantizedmodels and their full-precision counterparts. Nevertheless, existing calibration methods are mainly designed and validated us- ing integer-precision formats, such as INT4, lacking support for HiF4 due to its hierarchical BFP structure. In this paper, weinvestigatethreecalibrationapproaches,namelyHiGPTQ, HiAutoRound, and HiFlatQuant, to further enhance model quantizationbasedontheHiF4format.Extensiveexperiments demonstratethatallthreeproposedapproachesimproveinfer- ence accuracy compared with direct HiF4 conversion, reduc- ing the gap between HiF4 and BF16 to less than 1% and out- performing the state-of-the-art NVFP4 format across various models and downstream tasks.