AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

📄 arXiv: 2606.17872v1 📥 PDF

作者: Ning Ni, Yingjie Lao

分类: cs.LG, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出AnchorKV以解决KV缓存压缩中的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关键值缓存 安全性 语言模型 压缩技术 软惩罚机制 自然语言处理 模型防御

📋 核心要点

  1. 现有的KV缓存压缩方法在面对恶意攻击时表现不佳，无法有效维护模型的安全性。
  2. AnchorKV通过构建安全锚点，采用软惩罚机制来优化令牌保留策略，从而提升安全性。
  3. 实验结果表明，AnchorKV在安全性和性能之间取得了良好的平衡，显著提高了模型的安全对齐能力。

📝 摘要（中文）

大型语言模型（LLMs）在生成推理和长上下文任务中表现优异，但其庞大的体积带来了显著的内存使用、能耗和设备部署挑战。关键值（KV）缓存成为推理的主要瓶颈。现有的KV缓存压缩方法虽然在保持准确性方面表现良好，但在面对恶意攻击时往往无法有效防御。为此，本文提出了AnchorKV，通过构建离线安全锚点，采用软惩罚的令牌选择规则，在提升安全性的同时，保持了原有压缩器的性能。

🔬 方法详解

问题定义：本文旨在解决现有KV缓存压缩方法在安全性方面的不足，尤其是在面对恶意提示时的防御能力不足的问题。现有方法在压缩过程中可能导致安全对齐的下降，无法有效抵御攻击。

核心思路：AnchorKV的核心思路是构建一个离线的安全锚点，通过对令牌保留分数进行偏置，避免选择与有害提示相关的键空间方向，从而提升模型的安全性。

技术框架：AnchorKV的整体架构包括安全锚点的构建和基于软惩罚的令牌选择规则。首先，通过差异均值表示工程方法在层特定的键投影空间中构建安全锚点；然后，应用软惩罚机制来调整令牌选择，确保在保持性能的同时提升安全性。

关键创新：AnchorKV的主要创新在于引入了安全锚点的概念，并结合软惩罚机制进行令牌选择。这一方法与现有的KV缓存压缩技术本质上不同，因为它不仅关注性能，还将安全性纳入考虑。

关键设计：在设计中，AnchorKV采用了层特定的键投影空间，利用差异均值表示来构建安全锚点。同时，软惩罚的参数设置允许在性能和安全性之间进行权衡，确保在惩罚为零时恢复到原始压缩器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AnchorKV在安全性方面显著提升，能够有效防御恶意提示的攻击，同时在性能上与现有压缩方法相当。具体而言，AnchorKV在安全对齐能力上提升了XX%，而在保持原有压缩性能的情况下，软惩罚机制的引入使得整体效果更为优越。

🎯 应用场景

AnchorKV的研究成果具有广泛的应用潜力，尤其是在需要高安全性和高性能的自然语言处理任务中。它可以被应用于聊天机器人、智能助手等领域，确保在处理用户输入时的安全性，防止恶意攻击带来的风险。未来，该方法也可能扩展到其他类型的模型和任务中，提升整体的安全性和可靠性。

📄 摘要（原文）

Large language models (LLMs) outperform earlier architectures on generative inference and long-context tasks, but their large size introduces significant challenges in memory usage, energy cost, and on-device deployment. Since scaling pre-trained language models improves downstream capability \cite{zhao2023survey}, the key-value (KV) cache becomes a dominant inference bottleneck. Recent KV cache compression methods \cite{jo2025fastkv,li2024snapkv,zhou2024dynamickv} reduce this cost by retaining only a subset of attention-relevant tokens. However, while these approaches preserve accuracy on benign workloads, their compression policies either fail to defend against jailbreak attacks \cite{jiang2024robustkv} or degrade safety alignment under aggressive eviction. We propose AnchorKV, a drop-in modification to KV cache compression that biases token retention scores away from directions in key space associated with harmful prompts. AnchorKV constructs an offline safety anchor by adapting a difference-of-means representation engineering approach \cite{arditi2024refusal,zou2023representation} to the layer-specific key projection space used in KV caching. Based on this anchor, a soft penalty token selection rule trades a small amount of utility for substantially improved safety alignment, while reducing to the original compressor when the penalty is zero.