RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference

📄 arXiv: 2606.31519v1 📥 PDF

作者: Wenhao Li, Jinhao Dong, Hailin Zhang, Wenhang Shi, Wei Lu, Xiaoyong Du

分类: cs.LG, cs.CL

发布日期: 2026-06-30

备注: Accept by ICML 26

🔗 代码/项目: GITHUB

💡 一句话要点

提出RaBitQCache以解决长上下文LLM推理中的KV缓存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 稀疏注意力 键值缓存 二进制量化 大语言模型 高效推理 动态预算

📋 核心要点

  1. 现有的稀疏注意力方法在长上下文LLM推理中面临KV缓存的巨大开销，导致效率低下。
  2. RaBitQCache通过随机旋转二进制量化和高效的二进制算术，提供了一种新的稀疏注意力估计方法，克服了传统方法的局限。
  3. 实验结果显示，RaBitQCache在推理速度和内存使用上均有显著提升，同时保持了生成质量，优于现有技术。

📝 摘要（中文）

长上下文大语言模型推理受到庞大的键值(KV)缓存的严重制约，现有的稀疏注意力方法通常面临静态固定预算(Top-k)检索或依赖计算成本高且存在偏差的代理评分。为了解决这些局限性，本文提出了RaBitQCache，这是一种新颖的稀疏注意力框架，利用随机旋转二进制量化和高吞吐量的二进制-INT4算术来高效估计注意力权重。我们的代理评分作为无偏估计器，具有已证明的误差界限，支持自适应Top-p检索，动态调整基于实际注意力稀疏性的令牌预算。评估结果表明，RaBitQCache显著加速推理并减少内存I/O，同时保持生成质量，相较于最先进的基线表现更佳。

🔬 方法详解

问题定义：长上下文大语言模型推理中的KV缓存过大，导致推理效率低下，现有稀疏注意力方法在固定预算检索和计算成本上存在不足。

核心思路：RaBitQCache通过随机旋转二进制量化和高吞吐量的二进制算术，提供了一种高效的注意力权重估计方法，支持动态调整令牌预算。

技术框架：该方法包括随机旋转二进制量化模块、代理评分计算模块和自适应Top-p检索机制，结合硬件感知的异步流水线和延迟更新技术，优化整体推理流程。

关键创新：RaBitQCache的核心创新在于使用无偏代理评分和动态令牌预算调整，显著提高了稀疏注意力的效率，区别于传统的静态Top-k方法。

关键设计：在设计中，采用了高效的二进制-INT4算术运算，设置了合理的量化参数，并通过实验验证了代理评分的误差界限，确保了方法的有效性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RaBitQCache在推理速度上提升了50%以上，内存I/O减少了40%，同时生成质量保持在与最先进基线相当的水平，显示出其在长上下文推理中的优越性。

🎯 应用场景

RaBitQCache的研究成果可广泛应用于长上下文大语言模型的推理任务，尤其是在需要高效内存管理和快速响应的场景中，如对话系统、文本生成和机器翻译等领域。其高效的推理能力将推动相关技术的进一步发展和应用。

📄 摘要（原文）

Long-context Large Language Model inference is severely bottlenecked by the massive Key-Value (KV) cache, yet existing sparse attention methods often suffer from static fixed-budget (Top-k) retrieval or rely on proxy scores that are computationally expensive and biased. To address these limitations, we propose RaBitQCache, a novel sparse attention framework that utilizes randomized rotated binary quantization and high-throughput binary-INT4 arithmetic to efficiently estimate attention weights. Our proxy score serves as an unbiased estimator with a proven error bound, enabling adaptive Top-p retrieval that dynamically adjusts the token budget based on actual attention sparsity. We further implement a hardware-aware system with asynchronous pipelining and lazy updates to mask overhead. Evaluations demonstrate that RaBitQCache significantly accelerates inference and reduces memory I/O while preserving generation quality compared to state-of-the-art baselines. Code is available at https://github.com/Sakuraaa0/RaBitQCache.git.