CoS-VQ: Coordinated Shared-Scale Vector Quantization for Large Language Models

📄 arXiv: 2610.37336v1 📥 PDF

作者: Zukang Xu, Zhixiong Zhao, Xing Hu, Zhe Jiang, Xin Si, Dawei Yang

分类: cs.LG, cs.AI

发布日期: 2026-10-27

备注: 20 pages, 3 figures. Code: https://github.com/xzktx003/Cos_VQ

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoS-VQ以解决大语言模型的低比特权重量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 向量量化 低比特权重 大语言模型 联合优化 内存效率

📋 核心要点

  1. 现有的向量量化方法在提高准确性时，往往增加了有效编码维度，导致独立查找和局部更新复杂化。
  2. CoS-VQ通过联合优化硬索引和共享尺度，解决了尺度耦合问题，保持了低维码字的有效性。
  3. 在Qwen3.8-27B上，CoS-VQ在多个基准测试中表现优异，显示出联合更新的显著优势。

📝 摘要（中文）

大语言模型（LLMs）需要大量内存，这促使低比特权重量化的高效部署。现有的向量量化（VQ）方法通常通过增加有效编码维度来提高准确性，但这会使独立查找和局部码字更新变得复杂。我们提出了CoS-VQ（协调共享尺度向量量化），该方法在保持低维码字的同时，联合优化硬索引及其在不同位置的共享尺度。关键挑战在于尺度引起的耦合：最优尺度依赖于整个码字组合，并且会改变不同位置的候选排名，因此即使在尺度重新优化后，逐点更新也可能停滞。CoS-VQ在多个探测尺度下收集候选项，并构建残差感知二次目标的切线可分离上界。通过将候选比较减少到正尺度下的线性下包络，它识别出有限的代表区间以实现联合索引-尺度更新，而无需穷举码字组合。在Qwen3.8-27B上，CoS-VQ在语言建模、编码和推理基准测试中超越了QTIP和LLVQ。相同初始化下的消融实验进一步显示，联合更新的增益大于仅尺度优化的增益，强调联合选择作为增加码字维度的替代方案。

🔬 方法详解

问题定义：本论文旨在解决大语言模型中的低比特权重量化问题，现有方法在提升准确性时往往增加了编码维度，导致查找和更新过程复杂化。

核心思路：CoS-VQ的核心思路是通过联合优化硬索引和共享尺度，克服尺度耦合带来的挑战，从而在保持低维码字的同时提高模型性能。

技术框架：CoS-VQ的整体架构包括多个探测尺度的候选收集、残差感知目标的切线可分离上界构建，以及通过正尺度下的线性下包络进行候选比较，最终实现联合索引和尺度的更新。

关键创新：CoS-VQ的主要创新在于其处理尺度耦合的能力，通过减少候选比较的复杂性，显著提高了更新效率，与现有方法相比具有本质区别。

关键设计：在设计中，CoS-VQ采用了特定的损失函数来优化联合更新过程，并通过参数设置确保了在多个尺度下的有效候选收集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen3.8-27B的实验中，CoS-VQ在语言建模、编码和推理基准测试中超越了QTIP和LLVQ，显示出显著的性能提升。消融实验表明，联合更新的增益明显大于仅进行尺度优化，强调了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的高效部署，特别是在资源受限的环境中，如移动设备和边缘计算。通过降低内存需求，CoS-VQ可以使得更大规模的语言模型在实际应用中变得可行，推动自然语言处理技术的普及与发展。

📄 摘要（原文）

Large language models (LLMs) require substantial memory, motivating low-bit weight quantization for efficient deployment. Existing vector quantization (VQ) methods often improve accuracy by increasing the effective coding dimension, which can complicate independent lookup and local codeword updates. We propose CoS-VQ (Coordinated Shared-Scale Vector Quantization), which preserves low-dimensional codewords while jointly optimizing hard indices and their shared scale across positions. The key challenge is scale-induced coupling: the optimal scale depends on the entire codeword combination and, in turn, changes candidate rankings across positions, so pointwise updates can stall even after scale re-optimization. CoS-VQ collects candidates at multiple probe scales and constructs a tangent separable upper bound for the residual-aware quadratic objective. By reducing candidate comparisons to lower envelopes of lines over positive scales, it identifies finitely many representative intervals for joint index--scale updates without exhaustively enumerating codeword combinations. On Qwen3.8-27B, CoS-VQ outperforms QTIP and LLVQ on the evaluated language modeling, coding, and reasoning benchmarks. Ablations from the same initialization further show larger gains from joint updates than from scale-only refinement, highlighting joint selection as an alternative to increasing codeword dimensionality. The code is available at https://github.com/xzktx003/Cos_VQ.