TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

📄 arXiv: 2606.27161v1 📥 PDF

作者: Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

分类: cs.AI

发布日期: 2026-06-25

备注: 27 pages, 18 figures

💡 一句话要点

提出TOPS以解决多模态大语言模型的视觉令牌冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉令牌剪枝 多模态大语言模型 信息论分析 任务相关性 语义多样性 模型优化 计算效率

📋 核心要点

  1. 现有视觉令牌剪枝方法存在冗余令牌保留和对用户指令敏感性不足的问题，导致效率低下。
  2. 本文提出了一种基于第一性原理的视觉令牌剪枝方法TOPS，通过构建令牌最优保留集来提升剪枝效果。
  3. 在7个MLLM骨干网络和14个基准测试上，TOPS表现优异，特别是在LLaVA-NeXT上显著减少视觉令牌数量，同时保持高性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）在多模态推理能力上表现出色，但由于视觉令牌数量庞大，导致计算开销显著。视觉令牌剪枝是解决这一问题的自然方法，但现有方法存在不足：基于注意力的标准往往保留冗余令牌，而基于多样性的标准对用户指令缺乏敏感性。本文从第一性原理出发，提出了构建令牌最优保留集（TOPS）的框架，并通过信息论分析确定了有效令牌选择的三个基本原则：任务相关性、信息覆盖和语义多样性。实验结果表明，TOPS在多种剪枝设置下优于现有方法，尤其在LLaVA-NeXT上，TOPS去除了77.8%的视觉令牌，同时在7B和13B模型上保持了100.0%和100.6%的性能，表明剪枝冗余视觉令牌有助于减轻幻觉现象并启发未来轻量级MLLM设计。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中视觉令牌数量庞大导致的计算开销问题。现有方法在剪枝过程中往往保留冗余令牌，缺乏对用户指令的敏感性，导致效率低下。

核心思路：论文提出的TOPS方法从第一性原理出发，构建令牌最优保留集，基于任务相关性、信息覆盖和语义多样性三个原则进行有效的视觉令牌选择。

技术框架：TOPS模块是一个训练无关且模型无关的剪枝模块，适用于多种MLLM。其整体架构包括信息论分析、原则识别和剪枝决策三个主要阶段。

关键创新：TOPS的核心创新在于从信息论的角度系统性地定义了视觉令牌剪枝的内在目标，提出了基于三大原则的剪枝策略，与现有方法相比具有更强的理论基础和实用性。

关键设计：在设计过程中，TOPS采用了信息覆盖和语义多样性作为剪枝的关键参数，确保在减少视觉令牌的同时，保持模型性能不变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TOPS在LLaVA-NeXT上成功去除了77.8%的视觉令牌，同时在7B和13B模型上分别保持了100.0%和100.6%的性能，显示出其在剪枝效率和模型性能之间的优越平衡。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过优化视觉令牌的使用，TOPS可以显著提升多模态大语言模型的推理效率，降低计算资源消耗，推动轻量级模型的设计与应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved strong multimodal reasoning capabilities, but their efficiency is limited by the large number of visual tokens, which introduces substantial computational overhead. Visual token pruning offers a natural solution, yet existing methods are imperfect: attention-based criteria tend to retain redundant tokens, while diversity-based criteria are often agnostic to user instructions. Even methods that combine multiple criteria still lack a principled formulation of the intrinsic objective of token pruning. In this paper, we revisit visual token pruning from a first-principles perspective and formulate it as constructing Token Optimal Preservation Sets. Through a top-down information-theoretic analysis, we identify three fundamental principles for effective token selection: Task Relevance, Information Coverage, and Semantic Diversity. Based on these principles, we propose TOPS, a training-free and model-agnostic pruning module that can be applied to various MLLMs. Extensive experiments on 7 MLLM backbones and 14 benchmarks demonstrate that TOPS outperforms prior methods under diverse pruning settings. Notably, on LLaVA-NeXT, TOPS removes 77.8% of visual tokens while preserving 100.0% and 100.6% performance on its 7B and 13B models, respectively, suggesting that pruning redundant visual tokens can sometimes mitigate hallucination and inspire future lightweight MLLM design.