Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference

📄 arXiv: 2607.01831 📥 PDF

作者: Wenchen Han, Gingfung Matthew Yeung, Marco Barletta, William Toner, Amory Hoste, Adam Barker

分类: cs.DC, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出Lynx以解决长上下文推理中的KV传输瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 KV量化 推理加速 大规模语言模型 数据传输优化

📋 核心要点

  1. 现有KV量化技术在降低数据量的同时，未能有效兼顾网络延迟和推理精度，导致长上下文推理的效率低下。
  2. Lynx系统通过将KV缓存分为高优先级和低优先级流，允许在接收部分数据后开始解码，从而提高了推理速度。
  3. 实验结果表明，Lynx在首次令牌时间和准确性上均优于现有的8位KV量化方案，展现出显著的性能提升。

📝 摘要（中文）

长上下文推理在大型语言模型的服务中愈发普遍，尤其是在检索增强生成和智能代理系统中。在分散推理中，这些工作负载需要在网络中传输大量的键值（KV）缓存，解码必须在传输完成后才能开始。尽管现有的KV量化技术减少了数据量并缓解了这一瓶颈，但仍未能同时实现低网络延迟和高推理精度。本文提出Lynx系统，通过将KV缓存分为高优先级的Anchor流和低优先级的Residual流，实现渐进式、分流的KV传输。解码在接收到Anchor流后开始，并在Residual流传输的同时进行推测，最终通过验证确保与高精度解码的等效性。Lynx在多个模型和服务工作负载中实现了与激进的4位KV量化相当的首次令牌时间，同时匹配高精度推理的准确性，TTFT比标准8位KV量化提高了最多1.43倍，准确性提升幅度达到5.1%。

🔬 方法详解

问题定义：本文旨在解决长上下文推理中KV缓存传输的瓶颈问题。现有方法要求KV缓存必须完全接收后才能进行解码，导致延迟较高。

核心思路：Lynx系统挑战了KV缓存作为不可分割单元的假设，利用KV缓存中不同位对注意力计算和推理精度的不同贡献，允许在接收部分数据时开始解码。

技术框架：Lynx将KV缓存分为高优先级的Anchor流和低优先级的Residual流。解码在接收到Anchor流后开始，并在Residual流传输的同时进行推测，最后通过验证确保结果的等效性。

关键创新：Lynx的核心创新在于其渐进式、分流的KV传输机制，允许部分使用KV缓存，从而显著降低了推理延迟。与现有方法相比，Lynx在解码过程中实现了更高的灵活性和效率。

关键设计：在设计中，Lynx对KV缓存进行了优先级划分，确保最重要的位先被传输。此外，系统还实现了推测解码和后续验证机制，以确保推理结果的准确性。具体的参数设置和损失函数设计尚未详细披露。

📊 实验亮点

Lynx在多个模型和服务工作负载中表现出色，首次令牌时间（TTFT）与激进的4位KV量化相当，同时准确性与高精度（BF16）推理相匹配。相较于标准8位KV量化，TTFT提升幅度达到1.43倍，准确性提升幅度高达5.1%。

🎯 应用场景

Lynx系统在大型语言模型的推理任务中具有广泛的应用潜力，尤其是在需要快速响应的检索增强生成和智能代理系统中。通过提高KV传输效率，Lynx能够显著提升用户体验，降低延迟，适用于实时交互场景。

📄 摘要（原文）

Long-context inference is increasingly common in large language model (LLM) serving, driven by retrieval-augmented generation and agentic systems. In disaggregated inference, these workloads require transferring large Key-Value (KV) caches across the network, where decoding cannot begin until the transfer completes. Recent KV quantization techniques reduce data volume and alleviate this bottleneck, but existing schemes fail to achieve both low network-exposed latency and high inference accuracy.We challenge the assumption that the KV cache is an indivisible unit that must be fully received before use. We leverage the observation that different bits in the KV cache contribute unequally to attention computation and inference precision: the most significant bits capture the coarse structure of attention and the least significant bits refine precision. This property enables partial use of the KV cache during decoding. We present Lynx, a system that enables progressive, split-stream KV transfer by partitioning the KV cache into a high-priority Anchor stream carrying the most significant bits and a low-priority Residual stream carrying remaining precision. Decoding begins upon receipt of the Anchor stream and proceeds speculatively while the Residual stream is transferred concurrently, followed by verification that ensures equivalence to higher-precision decoding.Across multiple models and serving workloads, Lynx achieves Time-to-First-Token (TTFT) comparable to aggressive 4-bit KV quantization, while matching the accuracy of high-precision (BF16) inference, improving TTFT over standard 8-bit KV quantization by up to $1.43\times$ and improving accuracy over state-of-the-art by up to $5.1\%$.