GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache

📄 arXiv: 2607.01065v1 📥 PDF

作者: Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

分类: cs.LG

发布日期: 2026-07-01

备注: ICML 2026

💡 一句话要点

提出GSRQ以解决KV缓存存储效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 KV缓存 向量量化 残差量化 增益-形状K均值 存储效率 性能提升

📋 核心要点

  1. 现有的KV缓存量化方法在存储效率和方向保持方面存在不足，导致性能受限。
  2. 本文提出增益-形状$K$-均值（GSKM）作为$K$-均值的替代，旨在改善方向保真度并降低$ ext{l}_2$失真。
  3. 在LLaMA-3-8B上，GSRQ在1位量化下，LongBench任务的平均准确率从11.34提升至33.54，提升幅度达到22.20个百分点。

📝 摘要（中文）

随着大语言模型（LLMs）上下文窗口的扩展，KV缓存内存的线性增长日益成为部署的瓶颈。向下量化KV缓存至亚1位的向量量化（VQ）方法，尤其是残差量化（RQ），通过逐步编码残差来提升存储效率。然而，现有的VQ方法大多依赖于标准的$ ext{l}_2$ $K$-均值作为核心代码本学习原语，这会导致质心收缩，削弱方向保持能力。为了解决这一问题，本文提出了增益-形状$K$-均值（GSKM），作为$K$-均值的替代方案，改善方向保真度并匹配$ ext{l}_2$失真。基于GSKM，我们构建了增益-形状残差量化（GSRQ），在LLaMA-3-8B上显著提升了KV缓存量化的性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型部署中KV缓存的存储效率问题，现有方法在量化过程中容易导致质心收缩，影响方向保持能力。

核心思路：提出增益-形状$K$-均值（GSKM）作为$K$-均值的改进，旨在通过增强方向保真度来改善量化效果，从而提升KV缓存的存储效率。

技术框架：整体架构包括GSKM作为核心模块，结合残差量化（RQ）流程，通过加权扩展GSKM来编码残差，形成增益-形状残差量化（GSRQ）。

关键创新：GSKM的引入是本文的主要创新点，它通过改善质心的方向保持能力，显著提升了量化效果，与传统的$ ext{l}_2$ $K$-均值方法相比，能够更好地处理高维数据。

关键设计：在参数设置上，GSKM采用了加权机制以增强方向保真度，损失函数设计上则考虑了$ ext{l}_2$失真与方向保持的平衡，确保了量化过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GSRQ在1位量化下，LongBench任务的平均准确率从11.34提升至33.54，提升幅度达到22.20个百分点，显著优于现有的KV缓存量化基线，展示了其在高效存储和性能提升方面的优势。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的高效部署，尤其是在需要处理大规模上下文的场景中。通过提升KV缓存的存储效率，GSRQ能够在资源受限的环境中实现更高的模型性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

The deployment of Large Language Models (LLMs) with extended context windows is increasingly constrained by the linear growth of Key-Value (KV) cache memory. Vector Quantization (VQ), particularly Residual Quantization (RQ), is a promising approach for pushing KV cache storage toward the sub-1-bit regime by progressively encoding residuals with small codebooks. However, most VQ methods still rely on standard $\ell_2$ $K$-means as the core codebook-learning primitive. We identify a subtle high-dimensional issue of this primitive: Euclidean centroid averaging can induce centroid shrinkage, which weakens the angular alignment term in the $\ell_2$ distortion and makes directional preservation harder. To address this issue, we propose Gain-Shape $K$-means (GSKM), a drop-in replacement for $K$-means that improves directional fidelity while matching, and in some regimes improving, $\ell_2$ distortion. We then build Gain-Shape Residual Quantization (GSRQ) by incorporating a weighted extension of GSKM into an RQ pipeline. On LLaMA-3-8B, GSRQ substantially improves over strong KV cache quantization baselines across bit rates. At 1-bit, it improves the average accuracy across LongBench tasks from 11.34 to 33.54, a gain of 22.20 percentage points over VQLLM.