BellowsKV: One Latent for Many Layers, Expanded on Demand
作者: Jiamu Zhang, Hanjie Chen
分类: cs.LG
发布日期: 2026-10-26
🔗 代码/项目: GITHUB
💡 一句话要点
提出BellowsKV以解决KV缓存压缩精度不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 KV缓存 压缩方法 共享潜在表示 高效推理 内存管理 精度保持
📋 核心要点
- 现有的KV缓存压缩方法在高压缩比下精度损失严重，无法满足实际应用需求。
- BellowsKV通过将相邻层的隐藏状态映射到一个共享的潜在表示，避免了重复计算和内存瓶颈。
- 实验结果显示，BellowsKV-Quant在高压缩比下仍能保持高达99%的精度，显著优于现有方法。
📝 摘要（中文）
大型语言模型（LLMs）作为推理代理的核心，面临着KV缓存的内存瓶颈。现有的压缩方法在高压缩比下往往导致显著的精度损失。本文提出BellowsKV，一种无训练的方法，将相邻层的隐藏状态映射到一个共享的潜在表示，允许每层通过特定的投影读取自己的键值。在Llama-3.1-8B、Mistral-7B和Qwen2.5-7B模型上，BellowsKV-Quant在3.6倍压缩下保留约99%的全缓存精度，而最强的跨层方法在16倍压缩下最多保留84%的精度。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中KV缓存的内存瓶颈和高压缩比下的精度损失问题。现有方法在压缩时往往只能在单层内进行，导致高压缩比下精度显著下降。
核心思路：BellowsKV的核心思想是将相邻层的隐藏状态映射到一个共享的潜在表示，以此减少内存使用并提高压缩效率。通过这种方式，各层可以在不损失重要信息的情况下共享缓存。
技术框架：BellowsKV的整体架构包括两个主要模块：共享潜在表示的生成和层特定的投影。每层通过特定的投影从共享潜在表示中读取自己的键值，从而实现高效的内存使用。
关键创新：BellowsKV的主要创新在于其训练无关的设计，允许不同层共享潜在表示，同时保持高精度。与现有的跨层方法相比，BellowsKV在高压缩比下表现出更好的精度保持能力。
关键设计：在设计中，BellowsKV-Quant采用低精度存储潜在表示，几乎无损失，因为潜在表示没有主导的异常通道。此外，BellowsKV-Evict通过每个块做出共享的驱逐决策，利用层间的相似性来优化内存使用。
📊 实验亮点
在Llama-3.1-8B、Mistral-7B和Qwen2.5-7B模型的实验中，BellowsKV-Quant在3.6倍压缩下保留约99%的全缓存精度，而在13-14倍压缩下仍能保持97-98%的精度，显著优于现有最强跨层方法在16倍压缩下的84%精度。
🎯 应用场景
BellowsKV的研究成果在大型语言模型的推理和应用中具有广泛的潜在价值，尤其是在需要长时间推理和高效内存管理的场景中，如对话系统、智能助手和复杂任务的自动化处理。未来，该方法有望推动更高效的模型设计和部署。
📄 摘要（原文）
Large language models (LLMs) now serve as the backbone of agents that reason over many turns, call tools, and pursue long-horizon tasks. To avoid recomputation, a model stores the attention keys and values of all past tokens in a key-value (KV) cache. Each layer maintains its own cache, so KV-cache memory can become the main bottleneck for GPU serving. Most compression methods operate within a single layer, by quantizing the cache entries, reducing the channel dimension, or evicting less important tokens. All three lose substantial accuracy at high compression ratios. Cross-layer methods share one compressed cache across adjacent layers to go beyond this limit. However, these methods also degrade sharply at high compression ratios. We find that the KV-cache representations of adjacent layers are quite different, whereas the input hidden states of adjacent layers are highly similar. We also find that, under the same memory budget, reducing the dimension of this shared latent loses far more accuracy than quantizing it. Based on these findings, we propose BellowsKV, a training-free method that maps the hidden states of n adjacent layers to one shared latent per token. At inference time, each layer reads its own keys and values from this latent through a layer-specific projection. We keep the latent at full dimension and compress it in two other ways: BellowsKV-Quant stores the latent at low precision, which is nearly lossless because the latent has no dominant outlier channels; BellowsKV-Evict makes one shared eviction decision per block, because the layers rank token importance very similarly. Across Llama-3.1-8B, Mistral-7B and Qwen2.5-7B, BellowsKV-Quant retains about 99% of full-cache accuracy at 3.6x compression and 97-98% at 13-14x, where the strongest cross-layer method retains at most 84% at 16x. Code: https://github.com/MorrisZJ/BellowsKV