VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference
作者: Lyuke Wang, Zhuo Li, Guangxu Zhu
分类: cs.CV, cs.AI
发布日期: 2026-08-25
🔗 代码/项目: GITHUB
💡 一句话要点
提出VisCache以解决视觉大语言模型推理效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉大语言模型 KV缓存剪枝 多模态推理 推理效率 内存优化 PruneKV算法 长上下文推理
📋 核心要点
- 现有的KV压缩方法在视觉标记和层之间应用均匀剪枝，导致信息损失和性能下降，长上下文推理的计算和内存开销过大。
- VisCache是一个无需训练的框架，通过选择性转发关键帧和PruneKV算法实现视觉KV缓存的粗到细剪枝，有效减少冗余信息。
- 实验结果显示，VisCache在推理效率上实现了高达2.35倍的加速，内存使用显著降低，同时保持了良好的性能表现，超越了现有基线。
📝 摘要（中文）
尽管视觉大语言模型（VLLMs）在多模态推理中取得了显著成功，但其长上下文推理仍然因视觉键值（KV）缓存的巨大计算和内存开销而变得极为昂贵。现有的KV压缩方法通常在视觉标记和层之间应用均匀剪枝，导致信息损失和性能下降。为了解决这一挑战，本文提出了VisCache，一个无需训练的粗到细视觉KV缓存剪枝框架，包含两个协同阶段。首先，轻量级的VLM通过选择性地转发语义信息丰富的关键帧来过滤时间冗余。其次，引入了PruneKV，一种针对VLLMs注意力动态的手术式KV压缩算法。实验表明，VisCache显著提高了推理效率，实现了高达2.35倍的加速和显著的内存减少，同时在仅保留19-28%的KV缓存的情况下保持了竞争力的性能。
🔬 方法详解
问题定义：本文旨在解决视觉大语言模型推理中的长上下文计算和内存开销问题。现有方法通过均匀剪枝导致信息损失，影响性能。
核心思路：VisCache通过两个阶段的剪枝策略，首先过滤冗余信息，然后采用PruneKV算法进行精细化剪枝，旨在保留关键上下文信息。
技术框架：VisCache框架包括两个主要模块：第一阶段是轻量级VLM，用于选择性转发关键帧；第二阶段是PruneKV算法，针对注意力动态进行KV压缩。
关键创新：PruneKV算法采用抛物线层级预算分配和不对称更新机制，区别于传统的刚性剪枝策略，能够在融合值的同时选择性剪枝键，保留重要的上下文信息。
关键设计：在PruneKV中，设计了层级预算分配策略，确保不同层的剪枝比例合理，同时采用不对称更新机制，以动态适应注意力机制的变化。通过这些设计，VisCache在保持性能的同时显著提高了推理效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VisCache在推理效率上实现了高达2.35倍的加速，同时显著减少内存使用，KV缓存保留率仅为19-28%。与现有基线相比，VisCache在效率与性能之间建立了新的Pareto前沿，展现出优越的性能。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。VisCache的高效推理能力可以应用于实时图像识别、视频分析和智能助手等场景，提升系统的响应速度和用户体验。未来，随着多模态模型的广泛应用，VisCache有望成为提升推理效率的重要工具。
📄 摘要（原文）
While Vision Large Language Models (VLLMs) have achieved remarkable success in multimodal reasoning, their long-context inference remains prohibitively expensive due to the massive computation and memory overhead of visual Key-Value (KV) caches. Existing KV compression methods often apply uniform pruning across visual tokens and layers, leading to substantial information loss and degraded performance.To address this challenge, we propose \textbf{VisCache}, a plug-and-play framework for coarse-to-fine \textbf{Vis}ual KV \textbf{Cache} pruning without training, which consists of two synergistic stages. First, a lightweight VLM filters temporal redundancy by selectively forwarding semantically informative keyframes. Second, we introduce {PruneKV}, a surgical KV compression algorithm tailored to the attention dynamics of VLLMs. Unlike rigid pruning strategies, PruneKV adopts a parabolic layer-wise budget allocation together with an asymmetric update mechanism that selectively prunes keys while fusing values, thereby preserving critical contextual information. Extensive experiments demonstrate that VisCache substantially improves inference efficiency, achieving up to {2.35$\times$ speedup} and significant memory reduction while maintaining competitive performance with only {19--28\%} KV cache retention. VisCache consistently outperforms existing baselines, establishing a new Pareto frontier between efficiency and performance for long-context VLLM inference. Code is available at https://github.com/Wlklk/VisCache