LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

📄 arXiv: 2403.15388v6 📥 PDF

作者: Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-03-22 (更新: 2026-01-31)

备注: Accepted to ICCV 2025. First Version is released in 2024/03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PruMerge以解决大规模多模态模型的视觉token冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉推理 token减少 注意力机制 信息聚类 计算效率 视觉问答

📋 核心要点

  1. 现有的大规模多模态模型在处理高分辨率图像和视频时，视觉token数量显著增加，导致计算成本急剧上升。
  2. 本文提出的PruMerge策略通过识别视觉token间的空间冗余，动态选择重要token并进行合并，从而减少视觉token数量。
  3. 在LLaVA-1.5模型上应用PruMerge后，视觉token数量平均压缩14倍，并在多项任务中保持了相当的性能表现。

📝 摘要（中文）

大规模多模态模型（LMMs）通过连接视觉编码器和大型语言模型展现了显著的视觉推理能力。随着输入视觉信息的复杂性增加，模型所需的视觉token数量显著上升，导致计算成本呈平方级别增长。为了解决这一问题，本文提出了一种新的自适应视觉token减少策略PruMerge，能够在不影响模型性能的前提下显著减少视觉token数量。通过利用视觉编码器中注意力分数的稀疏性，动态选择重要的视觉token，并对其进行聚类和合并，从而增强信息内容。实验证明，该方法在LLaVA-1.5上平均压缩视觉token数量14倍，并在多种视觉问答和推理任务中表现出色。

🔬 方法详解

问题定义：本文旨在解决大规模多模态模型在处理复杂视觉输入时，因视觉token数量激增而导致的计算成本问题。现有方法在处理高分辨率图像和视频时，未能有效减少冗余token，造成了资源浪费和效率低下。

核心思路：PruMerge的核心思路是通过分析视觉编码器中的注意力分数稀疏性，动态选择并保留最重要的视觉token。通过聚类和合并这些token，增强其信息内容，从而有效减少输入token数量。

技术框架：整体架构包括三个主要模块：首先，利用视觉编码器提取视觉特征；其次，评估每个token的重要性并进行动态选择；最后，对选中的token进行聚类和合并，以减少冗余并提升信息密度。

关键创新：本文的主要创新在于提出了一种基于注意力稀疏性的新型token减少机制，能够在保持模型性能的同时，显著降低计算复杂度。这一方法与传统的固定token处理方式有本质区别。

关键设计：在设计中，采用了基于注意力分数的动态选择策略，确保保留的token能够有效代表输入信息。同时，聚类算法的选择和合并策略也经过精心设计，以最大化信息保留和减少冗余。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaVA-1.5模型上，PruMerge方法实现了视觉token数量平均压缩14倍，同时在多项视觉问答和推理任务中表现出与原模型相当的性能，显示出其在效率和效果上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、图像理解和视频分析等多模态任务。通过提高计算效率，PruMerge能够使得大规模多模态模型在资源受限的环境中更具实用性，推动相关领域的研究与应用发展。

📄 摘要（原文）

Large Multimodal Models (LMMs) have shown significant visual reasoning capabilities by connecting a visual encoder and a large language model. LMMs typically take in a fixed and large amount of visual tokens, such as the penultimate layer features in the CLIP visual encoder, as the prefix content. Recent LMMs incorporate more complex visual inputs, such as high-resolution images and videos, which further increases the number of visual tokens significantly. However, due to the inherent design of the Transformer architecture, the computational costs of these models tend to increase quadratically with the number of input tokens. To tackle this problem, we explore a token reduction mechanism that identifies significant spatial redundancy among visual tokens. In response, we propose PruMerge, a novel adaptive visual token reduction strategy that significantly reduces the number of visual tokens without compromising the performance of LMMs. Specifically, to metric the importance of each token, we exploit the sparsity observed in the visual encoder, characterized by the sparse distribution of attention scores between the class token and visual tokens. This sparsity enables us to dynamically select the most crucial visual tokens to retain. Subsequently, we cluster the selected (unpruned) tokens based on their key similarity and merge them with the unpruned tokens, effectively supplementing and enhancing their informational content. Empirically, when applied to LLaVA-1.5, our approach can compress the visual tokens by 14 times on average, and achieve comparable performance across diverse visual question-answering and reasoning tasks. Code and checkpoints are at https://llava-prumerge.github.io/.