The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally
作者: Jundong Hu, Shekar Ramachandran
分类: cs.LG, cs.CL
发布日期: 2026-09-01
备注: Preprint. Under review at a NeurIPS 2026 workshop. 11 pages, 4 figures, 8 tables
💡 一句话要点
提出全球量化策略以优化大语言模型的精度损失
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后训练量化 大语言模型 精度优化 因果干预 细粒度量化 模型性能提升
📋 核心要点
- 现有的后训练量化方法在不同模型中精度损失不均，缺乏有效的全局优化策略。
- 论文提出通过因果混合精度干预来识别量化损伤，并建议在全局范围内分配精度预算。
- 实验结果显示，全球细粒度量化在8个模型中比局部修复方法提升了21-52个百分点，验证了新方法的有效性。
📝 摘要（中文）
后训练量化（PTQ）被广泛应用于降低大语言模型（LLMs）的服务成本，但其精度损失不均，通常需要针对每个模型进行调优。本文研究了量化损伤的发生位置及如何分配额外的精度预算。通过对9个开放权重模型在4个架构家族中的因果混合精度干预进行测试，发现恢复精度的效果并不集中在特定层，而是分散的。研究表明，在相同的精度预算下，采用全球细粒度量化优于局部修复最可恢复层，提升幅度达21-52个百分点。还发现残差受预算限制，且峰值恢复位置与架构相关，但跨架构家族不一致。
🔬 方法详解
问题定义：本文旨在解决后训练量化（PTQ）中精度损失不均的问题。现有方法通常需要针对每个模型进行单独调优，导致效率低下。
核心思路：通过因果混合精度干预，逐层提升模型精度，识别量化损伤的分布，并提出在全局范围内分配精度预算的策略，以优化整体性能。
技术框架：研究采用了因果干预的方法，首先对每个模型的每一层进行8位量化测试，然后分析恢复精度的效果，最后比较全球细粒度量化与局部修复的性能。
关键创新：本文的主要创新在于提出了全球量化策略，挑战了传统的局部修复思路，强调了量化损伤的分散性和全局优化的重要性。
关键设计：在实验中，设置了8位量化的精度预算，并通过对比不同模型的恢复效果，发现大多数模型在恢复精度时需要对多层进行调整，而非仅依赖于少数关键层。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在相同的精度预算下，全球细粒度量化策略比局部修复方法在8个模型中提升了21-52个百分点，尤其是对于Qwen3-8B模型，验证了新方法的有效性和普适性。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的优化与部署，尤其是在资源受限的环境中。通过优化量化策略，可以显著提高模型的服务效率和准确性，推动自然语言处理技术的广泛应用。
📄 摘要（原文）
Post-training quantization (PTQ) is widely used to reduce the cost of serving large language models (LLMs), but its accuracy cost is uneven and is often tuned per model. We study where quantization damage occurs and how to allocate a small additional precision budget. Using causal mixed-precision intervention as ground truth (raise each layer to 8-bit in turn and measure the accuracy it recovers) across 9 open-weight models in 4 architecture families, we test 3 intuitive hypotheses: that quantization damage lives in task circuits, where the model computes, or in weight statistics. None of them predicts which layers benefit from restored precision. Recovery is instead diffuse: for 8 of 9 models, recovering 75% of the gap takes roughly half the layers; the lone exception, Qwen3-8B, is sharply concentrated. At a matched precision budget, spending it globally on finer quantization granularity beats locally repairing the most recoverable layers for all 8 group-128-compatible models (all but OpenLLaMA, whose width rules out group-128), by 21-52 points, including the concentrated Qwen3-8B. We report 2 secondary findings: the residual is budget-limited (8-bit is near-lossless in our evaluation across RTN, GPTQ, and AWQ), and the location of peak recovery correlates with architecture within a family, though not across families. Within this budget setting, global granularity is a better default than selectively protecting critical layers. More broadly, cheap signals that correlate with quantization damage do not necessarily identify where restoring precision improves accuracy; this must be tested with causal intervention.