Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More

📄 arXiv: 2608.25332v1 📥 PDF

作者: Chaofang Ma, Lin Jiang, Carol Jingyi Li, Xingyu Liu, Zeyu Li, Jiang Xu, Wei Zhang

分类: cs.CV

发布日期: 2026-08-26

💡 一句话要点

提出ProViP以解决视觉语言模型推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 视觉标记剪枝 推理效率 头感知机制 多模态学习

📋 核心要点

  1. 现有的视觉标记剪枝方法在推理效率上存在不足，导致内存和计算开销过大。
  2. 本文提出的ProViP框架通过头感知剪枝和冗余标记去除，显著提升了推理效率。
  3. 实验结果显示，ProViP在LLaVA-1.5-7B上保留了95.9%的原始性能，并在88.9%的剪枝比例下实现了1.62倍的推理加速。

📝 摘要（中文）

视觉语言模型（VLMs）在多种视觉场景中表现出色，但其视觉标记的激增导致了显著的内存和计算开销，增加了推理延迟。现有的视觉标记剪枝方法通过聚合所有头的注意力分数来评估标记的重要性，但本研究揭示了关键视觉标记的识别能力主要集中在少数头上。基于这一发现，本文提出了一种无训练的渐进式视觉标记剪枝框架ProViP，首先基于输入标记的嵌入相似性去除冗余标记，然后在推理过程中通过头感知剪枝进一步剪除标记。实验表明，ProViP在任务性能和推理效率上表现优异。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型推理过程中的视觉标记激增问题，现有方法通过聚合所有头的注意力分数进行剪枝，未能有效识别关键标记，导致性能下降。

核心思路：论文提出ProViP框架，首先通过输入标记的嵌入相似性去除冗余标记，然后在推理过程中采用头感知剪枝，专注于少数重要头的注意力分数，从而提升任务性能。

技术框架：ProViP的整体架构包括两个主要阶段：第一阶段是基于嵌入相似性去除冗余标记，第二阶段是在推理过程中进行头感知剪枝，确保保留关键视觉标记。

关键创新：ProViP的主要创新在于识别并利用少数头的注意力分数进行剪枝，而非简单的聚合所有头的分数，这一方法显著提高了剪枝的有效性和任务性能。

关键设计：在ProViP中，输入标记的嵌入相似性用于初步剪枝，确保冗余标记被去除；在推理阶段，采用头感知机制，专注于重要头的注意力分数进行进一步剪枝，优化了剪枝策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ProViP在LLaVA-1.5-7B模型上实现了95.9%的原始性能保留，同时在88.9%的剪枝比例下达到了1.62倍的推理速度提升，显著优于传统的视觉标记剪枝方法。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、图像描述生成和多模态检索等任务。通过提高视觉语言模型的推理效率，ProViP能够在资源受限的环境中实现更快的响应时间，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language Models (VLMs) have exhibited impressive performance across diverse visual scenarios. However, this success comes at the cost of explosive growth in visual tokens, which imposes substantial memory and computational overhead during inference, ultimately increasing latency. To improve VLM inference efficiency, a typical class of visual token pruning methods estimates token importance by aggregating attention scores across all heads in the pruning layer of the Large Language Model (LLM) backbone and prunes tokens based on aggregated scores. However, in this paper, we reveal a compelling phenomenon: the capability to pinpoint critical visual tokens is concentrated within a small fraction of heads. Aggregation exclusively on these heads can improve task performance. Inspired by this observation, we propose ProViP, a training-free progressive visual token pruning framework. ProViP first removes redundant visual tokens based on the embedding similarity of input tokens before reasoning of the LLM backbone, and then further prunes tokens during reasoning via head-aware pruning. Experiments demonstrate that ProViP delivers outstanding task performance and inference efficiency. For instance, when applied to LLaVA-1.5-7B, ProViP retains 95.9% of the original performance and achieves 1.62x inference speedup under an 88.9% pruning ratio.