A Unified Hessian-Guided Framework for Post-Training Quantization

📄 arXiv: 2610.40345v1 📥 PDF

作者: Mads Toftrup, Marco Federici, Boris van Breugel, Paul Whatmough, Markus Nagel

分类: cs.LG, cs.AI

发布日期: 2026-10-29

备注: 10 pages + 4 appendix

💡 一句话要点

提出统一的Hessian引导框架以优化后训练量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 Hessian引导 模型压缩 低位量化 大型语言模型 输出敏感性 优化方法

📋 核心要点

  1. 现有的量化方法通常独立优化各个组件，未能有效考虑量化误差对下游任务的影响，导致性能下降。
  2. 本文提出了一种Hessian引导的后训练量化框架，通过联合优化量化范围、线性变换和权重舍入，提升了量化效果。
  3. 实验结果表明，该方法在多个量化设置下均优于现有的最先进方法，展示了显著的性能提升。

📝 摘要（中文）

低位量化通过减少内存占用和计算成本，使大型语言模型的高效部署成为可能。为了在低精度下实现高准确度，需要选择量化范围、线性变换和权重舍入决策。现有方法通常独立优化这些组件，未能考虑量化误差对下游预测的不同影响。本文提出了一种Hessian引导的输出变化近似方法，基于可处理的Fisher近似，构建了一个统一的后训练量化框架，实现了量化范围、线性变换和权重舍入的联合优化，目标是共同的输出敏感性。该方法在现代大型语言模型中保持实用性，并在通道和块量化设置中始终优于现有的变换和舍入方法。

🔬 方法详解

问题定义：本文旨在解决低位量化过程中，现有方法未能有效考虑量化误差对下游任务影响的问题。现有方法通常独立优化量化组件，导致整体性能不佳。

核心思路：论文提出了一种基于Hessian引导的输出变化近似方法，通过联合优化量化范围、线性变换和权重舍入，旨在提高量化后的模型性能。这样的设计能够更好地捕捉量化对模型输出的影响。

技术框架：整体框架包括三个主要模块：量化范围选择、线性变换优化和权重舍入决策。通过Hessian引导的输出敏感性目标，整合这些模块的优化过程。

关键创新：最重要的创新在于提出了基于Hessian的输出变化近似，使得量化过程能够考虑到下游任务的敏感性，从而实现更有效的联合优化。与现有方法相比，本文的方法在理论和实践上均具有显著优势。

关键设计：在损失函数设计上，采用了基于输出敏感性的目标函数，确保优化过程能够反映量化对模型性能的真实影响。同时，参数设置上考虑了现代大型语言模型的特性，使得方法具有较好的实用性。

📊 实验亮点

实验结果显示，所提出的方法在通道和块量化设置下均优于现有的最先进方法，具体表现为在多个基准测试中提升了模型的准确性，且在量化后保持了较低的计算成本，展现出良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的部署与优化，尤其是在资源受限的环境中。通过有效的后训练量化，能够显著降低模型的内存和计算需求，从而推动AI技术在移动设备和边缘计算中的应用。未来，该方法可能会影响更多领域的模型压缩与优化策略。

📄 摘要（原文）

Low-bit quantization enables efficient deployment of large language models by reducing memory footprint and computational cost. Achieving high accuracy at low precision requires selecting quantization ranges, linear transformations, and weight rounding decisions. Existing approaches typically optimize these components independently using local reconstruction objectives, which fail to account for the varying impact of quantization errors on downstream predictions. Direct optimization of task-level metrics would provide a more faithful objective, but is challenging due to the discontinuous nature of quantization operations and the high computational cost of evaluating their downstream effects. In this work, we derive a Hessian-guided approximation of the output change induced by joint weight and activation quantization. Based on a tractable Fisher approximation, we formulate a unified post-training quantization framework that enables the joint optimization of quantization ranges, linear transformations, and weight rounding under a common output-sensitivity objective. The resulting method remains practical for modern large language models and consistently outperforms state-of-the-art transformation and rounding methods across both channel-wise and block-wise quantization settings.