Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

📄 arXiv: 2606.12876v1 📥 PDF

作者: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

分类: cs.LG, cs.CL, cs.IT

发布日期: 2026-06-11

备注: 37 pages, 12 figures

💡 一句话要点

提出Drop-by-Drop框架以实现LLM的多位宽量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 后训练量化 多位宽量化 信息论 加法代码本 性能优化 存储效率

📋 核心要点

  1. 现有方法在不同硬件上部署LLM时，难以在性能与效率之间找到最佳平衡，且通常需要重新训练。
  2. Drop-by-Drop框架通过后训练量化，允许从单一训练模型中实现推理时的精度控制，避免了重新训练的需求。
  3. 实验结果表明，Drop-by-Drop在多个主流架构上显著降低了存储和内存开销，同时保持了良好的性能表现。

📝 摘要（中文）

随着大型语言模型（LLMs）在不同硬件上部署的增加，如何在不重新训练的情况下自适应地管理性能与效率之间的权衡变得至关重要。本文提出了Drop-by-Drop，一种新颖的多位宽后训练量化框架，能够在推理时精确控制LLM权重。该方法基于信息论和逐步细化的理论，证明了LLM权重可以在加权均方误差失真下，通过增加位数来实现最佳重构。Drop-by-Drop结合了Matryoshka式的监督机制，利用加法代码本的结构，生成一个单一模型，使得有序的代码本子集在每个精度级别上都能提供准确的部分重构。此方法显著减少了存储和内存开销，同时在多个主要架构（如Qwen、LLaMA、Gemma和Mistral）上保持了竞争力的困惑度和准确性。

🔬 方法详解

问题定义：本文旨在解决在不同硬件上部署大型语言模型时，如何在不重新训练的情况下实现性能与效率的平衡。现有方法通常需要重新训练，导致资源浪费和效率低下。

核心思路：Drop-by-Drop框架的核心思想是通过后训练量化实现推理时的精度控制，利用信息论和逐步细化的理论基础，优化LLM权重的重构过程。

技术框架：该框架包括多个主要模块，首先通过加权均方误差失真来优化LLM权重的重构，然后结合Matryoshka式的监督机制，利用加法代码本的结构生成有序的代码本子集，以实现不同精度级别的部分重构。

关键创新：Drop-by-Drop的创新之处在于它允许从单一模型中生成多个位宽的量化版本，显著减少了存储和内存开销。这一方法与传统的需要多个模型的量化方法本质上不同。

关键设计：在损失函数设计上，Drop-by-Drop采用了加权均方误差，并结合了Matryoshka式的监督机制，以充分利用加法代码本的结构，确保在不同精度级别下的部分重构准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Drop-by-Drop在多个主流架构（如Qwen、LLaMA、Gemma和Mistral）上，能够在保持竞争力的困惑度和准确性的同时，显著降低存储和内存开销，具体提升幅度未明确说明，但整体性能表现优异。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和多模态系统等。通过实现高效的量化，Drop-by-Drop能够在资源受限的设备上部署大型语言模型，从而提高模型的可用性和普及率。未来，随着硬件的多样化，该方法有望在更多应用场景中发挥重要作用。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed across heterogeneous hardware with varying resource constraints, the ability to adaptively manage the trade-off between performance and efficiency without retraining is critical. We propose Drop-by-Drop, a novel multi-bitwidth post-training quantization framework that enables inference-time precision control over LLM weights from a single trained model. Our method is theoretically grounded in information theory and successive refinement. We establish that LLM weights, which commonly follow a Gaussian distribution, can be optimally reconstructed with increasing fidelity as additional bits are incorporated, under a weighted mean squared error distortion motivated by LLM loss functions. To realize this in practice, Drop-by-Drop incorporates Matryoshka-style supervision into the loss function, exploiting the structure of additive codebooks. Drop-by-Drop produces a single model where ordered subsets of codebooks yield accurate partial reconstructions at each precision level. This approach significantly reduces storage and memory overhead by allowing a single checkpoint to serve multiple bitwidths, while maintaining competitive perplexity and accuracy across major architectures, such as Qwen, LLaMA, Gemma, and Mistral.