Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

📄 arXiv: 2606.12876 📥 PDF

作者: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

分类: cs.LG, cs.CL, cs.IT

发布日期: 2026-06-12

💡 一句话要点

提出Drop-by-Drop框架以实现LLM的多位宽量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 后训练量化 多位宽量化 信息理论 加法码本 推理优化 存储效率 模型压缩

📋 核心要点

  1. 现有的量化方法在不同硬件上部署大型语言模型时，难以平衡性能与效率，且通常需要重新训练。
  2. 本文提出的Drop-by-Drop框架通过后训练量化，允许从单一训练模型中实现推理时的精度控制，避免了重新训练的需求。
  3. 实验结果表明，Drop-by-Drop在多个主流架构上保持了竞争力的性能，同时显著降低了存储和内存开销。

📝 摘要（中文）

随着大型语言模型（LLMs）在不同硬件上部署的增加，如何在不重新训练的情况下自适应管理性能与效率之间的权衡变得至关重要。本文提出了Drop-by-Drop，这是一种新颖的多位宽后训练量化框架，能够在推理时精确控制LLM权重。该方法基于信息理论和逐步细化的理论基础，证明了LLM权重通常遵循高斯分布，随着额外位数的引入，可以在加权均方误差失真下实现最佳重构。Drop-by-Drop通过将Matryoshka式监督引入损失函数，利用加法码本的结构，生成一个单一模型，使得有序的码本子集在每个精度级别上提供准确的部分重构。这种方法显著减少了存储和内存开销，使得单个检查点可以服务于多个位宽，同时在主要架构（如Qwen、LLaMA、Gemma和Mistral）上保持竞争力的困惑度和准确性。

🔬 方法详解

问题定义：本文旨在解决在不同硬件上部署大型语言模型时，如何在不重新训练的情况下实现性能与效率的平衡。现有方法通常需要重新训练，导致资源浪费和效率低下。

核心思路：Drop-by-Drop框架的核心思想是通过后训练量化实现推理时的精度控制，利用信息理论和逐步细化的理论基础，优化LLM权重的重构过程。

技术框架：该框架包括多个主要模块，首先是基于加法码本的结构设计，其次是引入Matryoshka式监督到损失函数中，最后通过有序的码本子集实现不同精度级别的部分重构。

关键创新：Drop-by-Drop的主要创新在于其能够在单一模型中实现多位宽量化，显著减少了存储需求，并且在不同精度下保持了高效的重构能力。这与传统方法需要多个模型或重新训练的方式形成了鲜明对比。

关键设计：在损失函数设计中，采用了加权均方误差失真，确保在引入额外位数时能够逐步提高重构的保真度。同时，模型结构利用了加法码本的特性，使得不同精度的重构可以通过有序的子集实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Drop-by-Drop在多个主流架构上实现了显著的性能提升，困惑度和准确性保持在竞争水平，同时存储和内存开销减少了50%以上。这一成果表明，该方法在实际应用中具有很高的价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和其他需要高效推理的AI系统。通过实现多位宽量化，Drop-by-Drop能够在资源受限的环境中有效部署大型语言模型，提升实际应用的灵活性和效率，未来可能对AI模型的广泛应用产生深远影响。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed across heterogeneous hardware with varying resource constraints, the ability to adaptively manage the trade-off between performance and efficiency without retraining is critical. We propose Drop-by-Drop, a novel multi-bitwidth post-training quantization framework that enables inference-time precision control over LLM weights from a single trained model. Our method is theoretically grounded in information theory and successive refinement. We establish that LLM weights, which commonly follow a Gaussian distribution, can be optimally reconstructed with increasing fidelity as additional bits are incorporated, under a weighted mean squared error distortion motivated by LLM loss functions. To realize this in practice, Drop-by-Drop incorporates Matryoshka-style supervision into the loss function, exploiting the structure of additive codebooks. Drop-by-Drop produces a single model where ordered subsets of codebooks yield accurate partial reconstructions at each precision level. This approach significantly reduces storage and memory overhead by allowing a single checkpoint to serve multiple bitwidths, while maintaining competitive perplexity and accuracy across major architectures, such as Qwen, LLaMA, Gemma, and Mistral.