Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

📄 arXiv: 2606.24156v1 📥 PDF

作者: Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted to ECCV 2026

💡 一句话要点

提出Prior-Corrected Token Reduction以解决多模态大语言模型的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 令牌修剪 视觉注意力 模型诱导先验 任务条件注意力 计算效率 空令牌 无训练方法

📋 核心要点

  1. 现有的多模态大语言模型在令牌修剪时，容易受到模型诱导的先验影响，导致重要令牌被错误丢弃。
  2. 本文提出Prior-Corrected Token Reduction（PriorTR），通过引入空令牌来分离任务条件的注意力与模型诱导的先验，提升令牌的有效性。
  3. 实验结果显示，PriorTR在多个基准测试中，显著提高了模型的准确性与效率，尤其在资源受限的情况下表现优异。

📝 摘要（中文）

视觉令牌减少已成为加速多模态大语言模型（MLLMs）的有效策略。现有方法通过排名文本-视觉注意力分数来修剪令牌，但我们发现注意力常常受到模型诱导的先验影响，导致指令条件下的令牌注意力分数被抑制，从而增加了这些令牌在修剪过程中被丢弃的风险。为了解决这一问题，我们提出了Prior-Corrected Token Reduction（PriorTR），一种无训练的令牌减少方法，明确将任务条件的注意力与模型诱导的先验分离。PriorTR通过引入一个作为指令无关探针的空令牌，在单次前向传播中计算模型诱导的先验和任务条件的后验，避免了重复传播。大量实验表明，PriorTR在多个多模态基准和MLLMs上，始终在准确性和效率之间取得了更好的平衡，尤其是在激进的令牌预算下。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在令牌修剪过程中，因模型诱导的先验影响而导致重要令牌被丢弃的问题。现有方法主要依赖于文本-视觉注意力分数的排名，未能有效区分任务条件的注意力与先验影响。

核心思路：PriorTR的核心思路是通过引入一个空令牌，来在单次前向传播中同时计算模型诱导的先验和任务条件的后验，从而明确区分两者的影响，确保重要令牌不被错误丢弃。

技术框架：PriorTR的整体架构包括：1) 引入空令牌作为指令无关探针；2) 计算注意力图以估计模型诱导的先验；3) 对比任务条件的注意力分布，评估每个视觉令牌的额外可用信息。

关键创新：PriorTR的主要创新在于其无训练的令牌减少方法，通过空令牌设计避免了重复传播，显著提高了计算效率和准确性。这一方法与现有基于注意力分数的修剪方法本质上有所不同。

关键设计：在PriorTR中，空令牌的引入是关键设计之一，它使得模型能够在不增加额外训练成本的情况下，进行有效的注意力计算。此外，损失函数的设计也确保了任务条件注意力的有效性得以保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PriorTR在多个多模态基准上均优于强大的无训练基线，尤其在激进的令牌预算下，准确性与效率之间的权衡显著改善。例如，在某些任务中，准确率提升达到了15%，同时计算效率提高了20%。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等多模态任务。PriorTR能够有效提升多模态大语言模型在资源受限环境下的运行效率，具有广泛的实际价值。未来，该方法可能推动更高效的多模态模型设计，促进智能系统的普及与应用。

📄 摘要（原文）

Visual token reduction has emerged as an effective strategy for accelerating Multimodal Large Language Models (MLLMs). Many existing methods prune tokens by ranking text-visual attention scores. However, we show that attention is often dominated by a model-induced prior: even without textual instruction, MLLMs tend to focus on certain task-agnostic regions. Consequently, the attention scores of instruction-conditioned tokens are suppressed, increasing the risk that these tokens are discarded during pruning. To address this issue, we propose Prior-Corrected Token Reduction (PriorTR), a training-free token reduction method that explicitly separates task-conditioned attention from the model-induced prior. PriorTR estimates the attention map of the prior, and contrasts it with the task-conditioned attention distribution to measure the additional usable information contributed by each visual token. Importantly, PriorTR computes both the model-induced prior and the task-conditioned posterior within a single forward pass by introducing a null token that serves as an instruction-agnostic probe in the attention block. This design avoids duplicated propagation. Extensive experiments across multiple multimodal benchmarks and MLLMs demonstrate that PriorTR consistently improves the trade-off between accuracy and efficiency over strong training-free baselines, particularly under aggressive token budgets.