CubicQuant: Parametric Non-Uniform Codebooks for High-Throughput LLM Inference with 1-8-Bit Weights

📄 arXiv: 2608.06763v1 📥 PDF

作者: Xuetian Gao

分类: cs.LG, cs.DC

发布日期: 2026-08-07

备注: 23 pages, 1 figure. Technical report

💡 一句话要点

提出CubicQuant以解决大语言模型推理中的权重量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 权重量化 大语言模型 GPU执行 非均匀标量 立方曲线 自适应重建 机器学习

📋 核心要点

  1. 现有的权重量化方法在自适应重建与高效执行之间存在矛盾，导致性能受限。
  2. CubicQuant通过参数化的非均匀标量格式，利用立方曲线映射幅度代码，提升了权重组的重建能力。
  3. 实验表明，CubicQuant在多种分布下的重建误差相较于传统方法有显著降低，验证了其有效性。

📝 摘要（中文）

大语言模型推理中的权重量化需要在自适应重建水平与高效GPU执行之间取得平衡。现有的均匀整数量化限制了每组权重的表示能力，而低比特浮点格式则使用固定的指数-尾数结构。本文提出CubicQuant，一种参数化的非均匀标量格式，能够在保持密集整数代码流的同时，适应每个权重组内的重建水平。通过单调的立方曲线，CubicQuant将均匀间隔的幅度代码映射到非均匀水平，涵盖1-8位权重负载，并在有效宽度上提供灵活性。实验结果显示，CubicQuant在不同分布下的重建均方根误差显著低于传统的四位均匀整数量化。

🔬 方法详解

问题定义：当前大语言模型推理中的权重量化面临自适应重建水平与高效GPU执行之间的矛盾。均匀整数量化限制了表示能力，而低比特浮点格式则带来了固定结构的局限性。

核心思路：CubicQuant提出了一种参数化的非均匀标量格式，通过单调立方曲线将均匀幅度代码映射到非均匀重建水平，从而在保持密集整数代码流的同时，增强了权重组的灵活性。

技术框架：CubicQuant的整体架构包括参数化的立方曲线映射、重建水平的自适应调整以及直接的GPU执行模块。主要阶段包括数据预处理、模型训练和推理执行。

关键创新：CubicQuant的核心创新在于其非均匀标量格式的设计，能够在1-8位权重负载中实现灵活的重建水平，且包含了对称均匀整数量化作为特例，显著提升了表示能力。

关键设计：CubicQuant的设计中包含两个形状参数和一个尺度参数，能够有效控制重建水平的分布。此外，论文还提出了针对不同分布的损失函数和动态适应策略，以优化重建效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，CubicQuant在G=128的有限组中，相较于最优裁剪的四位均匀整数量化，其重建均方根误差在均匀、Gaussian和Laplace分布下分别降低了3.90%、13.49%和28.14%。与最佳的四位有限浮点格式相比，分别降低了3.90%、9.44%和6.27%。

🎯 应用场景

CubicQuant的研究成果在大语言模型的推理过程中具有广泛的应用潜力，尤其是在需要高效计算和低延迟的场景中，如自然语言处理、机器翻译和对话系统等。其灵活的权重量化方法能够提升模型的执行效率，降低计算资源的消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Weight quantization for large-language-model inference must balance adaptive reconstruction levels with representations regular enough for efficient GPU execution. Uniform integers constrain each group to a linear grid. Low-bit floating-point formats use a fixed exponent-mantissa structure, while learned codebooks gain flexibility at the cost of irregular decoding and additional metadata. We introduce CubicQuant, a parametric non-uniform scalar format that preserves a dense integer code stream while adapting reconstruction levels within each weight group. A monotonic cubic curve, specified by two shape parameters and one scale, maps uniformly spaced magnitude codes to non-uniform levels. The family spans 1-8-bit weight payloads, contains symmetric uniform integer quantization as an exact special case, and has effective width B + 64/G bits per weight for payload width B and group size G. We derive population distortion under Uniform, Gaussian, and Laplace distributions, formulate continuous and Dynamic-A8-carrier-aware fitting objectives, and describe direct packed-weight GPU execution. For finite groups of G=128 with 15,360 samples per distribution, W4 CubicQuant reduced reconstruction RMSE relative to optimally clipped four-bit uniform integer quantization by 3.90% on Uniform, 13.49% on Gaussian, and 28.14% on Laplace samples. Relative to the best enumerated four-bit finite floating-point format, the reductions were 3.90%, 9.44%, and 6.27%. Preliminary H200 kernel measurements show a workload-dependent crossover: model-dtype execution is faster for narrow GEMV, while Dynamic A8 becomes favorable as row count grows. The results establish the format's representational promise and direct executability; downstream model quality and cross-device end-to-end performance remain open evaluation questions.