S$^2$Prune: Spatially Structured Visual Token Pruning for Multimodal Large Language Models

📄 arXiv: 2609.01224v1 📥 PDF

作者: Yuanyuan Jia, Shunpu Tang, Qianqian Yang

分类: cs.CV

发布日期: 2026-09-01

备注: 18 pages, including supplementary material. Code is available at https://github.com/yuanyuanjia71-spec/S2Prune

🔗 代码/项目: GITHUB

💡 一句话要点

提出S$^2$Prune以解决多模态大语言模型的视觉标记剪枝问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉标记剪枝 多模态大语言模型 空间覆盖 拉普拉斯变化 早期表示变化 无训练方法 图像区域划分

📋 核心要点

  1. 现有的视觉标记剪枝方法在选择标记时存在空间偏差，未能充分利用图像的空间结构。
  2. S$^2$Prune通过区域划分和拉普拉斯变化分配标记，确保空间覆盖并适应局部结构。
  3. 在Qwen2.5-VL-7B-Instruct上，S$^2$Prune以32个标记保留了79.3%的全模型性能，表现优于其他无训练剪枝方法。

📝 摘要（中文）

视觉标记剪枝通过保留部分视觉标记来减少多模态大语言模型的推理开销。现有方法通常基于重要性或冗余性选择标记，但这些标准在输入间产生稳定的空间偏差，且未必优于简单的均匀网格采样。为此，本文提出S$^2$Prune，这是一种无训练的剪枝方法，旨在保留空间覆盖的同时根据局部图像结构调整标记密度。我们将图像划分为区域，并为每个区域分配至少一个标记以保持覆盖，剩余的标记预算则根据拉普拉斯变化分配，给予结构更丰富的区域更多标记。通过计算第一个解码器块的早期表示变化（ERC），选择每个区域的代表性标记。实验表明，S$^2$Prune在多种设置和两种MLLM架构上表现优异。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中视觉标记剪枝的效率问题。现有方法在选择标记时，往往基于重要性或冗余性，导致空间偏差，未能充分利用图像的空间特征。

核心思路：S$^2$Prune的核心思路是通过划分图像区域并为每个区域分配至少一个标记，确保空间覆盖，同时根据局部结构的复杂性调整标记的密度。

技术框架：该方法首先将图像划分为多个区域，然后根据拉普拉斯变化分配剩余的标记预算，最后利用早期表示变化（ERC）选择每个区域的代表性标记。

关键创新：S$^2$Prune的创新在于其无训练的剪枝方法，能够在保留空间覆盖的同时，灵活适应图像的局部结构，与现有方法相比，显著提高了标记的有效性和模型性能。

关键设计：在设计中，区域划分和拉普拉斯变化的结合是关键，确保了标记的合理分配。此外，ERC的计算方法为标记选择提供了有效的依据，增强了模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，S$^2$Prune在Qwen2.5-VL-7B-Instruct上以仅32个标记实现了79.3%的全模型性能，超越了其他无训练剪枝方法，展现了其在视觉标记选择上的显著优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在计算机视觉、自然语言处理和多模态学习等领域。通过提高多模态大语言模型的推理效率，S$^2$Prune可以在实时图像理解、智能助手和自动驾驶等场景中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Visual token pruning reduces the inference overhead of multimodal large language models (MLLMs) by retaining only a subset of visual tokens. Existing methods usually select tokens based on importance or redundancy. However, we observe that these criteria produce stable spatial biases across inputs and do not always outperform simple Uniform Grid sampling, highlighting the value of broad spatial coverage. Motivated by this, we propose S$^2$Prune, a training-free pruning method that preserves spatial coverage while adapting token density to local image structure. We first divide the image into regions and assign at least one token to each region to preserve coverage. The remaining token budget is then distributed according to Laplacian variation, giving more tokens to regions with richer structure. We then use Early Representation Change (ERC), computed from the first decoder block, to select representative tokens within each region. We evaluate S$^2$Prune across diverse settings and two MLLM architectures. On Qwen2.5-VL-7B-Instruct, it achieves the highest average accuracy among the evaluated training-free pruning methods. With only 32 of the original 576 visual tokens, it still retains 79.3% of the full-model performance. Code is available at https://github.com/yuanyuanjia71-spec/S2Prune.