SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference

📄 arXiv: 2606.31145v1 📥 PDF

作者: Amirhossein Abaskohi, Giuseppe Carenini, Peter West, Yuhang He

分类: cs.CL

发布日期: 2026-06-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出SeKV以解决长上下文LLM推理中的KV缓存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 KV缓存 语义压缩 深度学习 内存管理

📋 核心要点

  1. 现有KV缓存压缩方法在保持上下文信息的同时，难以有效降低内存消耗，导致长上下文推理的性能瓶颈。
  2. SeKV通过将上下文组织为熵引导的语义跨度，并在GPU-CPU内存层次中存储，避免了信息丢失，实现了自适应的token级重构。
  3. 在四个基准测试中，SeKV相比最强的语义压缩基线平均提升5.9%，同时GPU内存使用减少53.3%。

📝 摘要（中文）

随着大型语言模型（LLM）在长上下文中的应用日益增多，KV缓存成为主要的内存瓶颈，其大小随序列长度线性增长，且在解码过程中必须保留，导致全GPU缓存的成本过高。现有的KV缓存压缩方法在效率与上下文保真度之间难以取得平衡。为此，本文提出了SeKV，一种分辨率自适应的语义KV缓存，能够将上下文组织成基于熵的语义跨度，并在GPU-CPU内存层次结构中存储这些信息，而不丢失任何信息。每个语义跨度在GPU上保留轻量级的摘要向量用于粗略路由，并在CPU上存储低秩SVD基用于按需的token级重构。经过训练的放大机制在解码过程中选择性地扩展与查询相关的跨度，实现精确检索，而无需在GPU上物化完整的KV缓存。实验结果表明，SeKV在四个基准测试中平均提高了5.9%，同时在128K上下文下减少了53.3%的GPU内存。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文推理中KV缓存的内存瓶颈问题。现有方法在压缩KV缓存时，往往会丢失重要的上下文信息，导致性能下降。

核心思路：SeKV的核心思想是通过将上下文组织为基于熵的语义跨度，并在GPU和CPU之间进行存储，避免信息丢失，同时实现按需的token级重构。这样的设计使得在解码过程中可以灵活地检索相关信息。

技术框架：SeKV的整体架构包括两个主要模块：在GPU上存储的轻量级摘要向量和在CPU上存储的低秩SVD基。解码时，使用训练好的放大机制选择性地扩展相关的语义跨度，以实现高效的检索。

关键创新：SeKV的主要创新在于其分辨率自适应的语义KV缓存设计，能够在不丢失信息的情况下，实现高效的上下文管理。这与现有方法通过信息丢失或固定压缩决策的方式有本质区别。

关键设计：在设计中，SeKV采用了轻量级的摘要向量和低秩SVD基的组合，确保了在GPU和CPU之间的高效数据传输和存储。同时，放大机制的训练使得在解码过程中能够动态调整所需的上下文信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SeKV在四个基准测试中平均提高了5.9%的性能，相比于完整KV缓存，GPU内存使用减少了53.3%。这一显著的提升证明了SeKV在长上下文推理中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等场景，能够显著提升长上下文处理的效率和效果。未来，SeKV的设计理念也可能被应用于其他需要高效内存管理的深度学习任务中，推动相关领域的发展。

📄 摘要（原文）

Large language models increasingly operate over long contexts, where the KV cache becomes a dominant memory bottleneck: its size grows linearly with sequence length and must be retained throughout decoding, making full GPU caching prohibitively expensive without compression. Existing KV cache compression methods struggle to balance efficiency with faithful context preservation. Token eviction discards information, while semantic grouping fixes compression decisions at prefill time; neither can recover token-level detail from a compressed span once it becomes relevant during generation. As a solution, we propose SeKV, a resolution-adaptive semantic KV cache that organizes context into entropy-guided semantic spans and stores them across a GPU-CPU memory hierarchy without discarding information. Each span keeps a lightweight summary vector on GPU for coarse routing and a low-rank SVD basis on CPU for on-demand token-level reconstruction. A trained zoom-in mechanism selectively expands query-relevant spans during decoding, enabling precise retrieval without materializing the full KV cache on GPU. SeKV enables adaptive token-level reconstruction while keeping the base LLM fully frozen and adding fewer than 0.05% trainable parameters. Across four benchmarks, SeKV improves over the strongest semantic compression baseline by 5.9% on average while reducing GPU memory by 53.3% versus full KV caching at 128K context. Code is available on https://github.com/AmirAbaskohi/SeKV.