ET-Prune: Evidence-Aware Dynamic Budgeting for Visual Token Pruning in Text-Rich MLLMs

📄 arXiv: 2608.01979v1 📥 PDF

作者: Zizhong Ding, Junxian Li, Kai Liu, Shaoqiu Zhang, Xiao Xiao, Linghe Kong, Yulun Zhang

分类: cs.CV, cs.CL

发布日期: 2026-08-03

备注: Code and supplementary material is at https://github.com/Labyrinth0419/ET-Prune

💡 一句话要点

提出ET-Prune以解决文本丰富输入的视觉令牌修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉令牌修剪 多模态大语言模型 OCR任务 证据分配 动态预算

📋 核心要点

  1. 现有的视觉令牌修剪方法在处理文本丰富输入时，固定的令牌比例无法有效保留重要信息。
  2. ET-Prune通过将修剪视为证据分配，利用问题条件的证据来动态调整令牌预算，避免无差别修剪。
  3. 在多个基准测试中，ET-Prune在保留约一半视觉令牌的情况下，显著提升了模型的准确性和性能。

📝 摘要（中文）

视觉令牌修剪可以降低多模态大语言模型的推理成本，但固定的令牌比例与文本丰富的输入不匹配。在OCR中心任务中，决定性证据可能是少量的标签或字段，其相关性由问题指定；而无差别的修剪可能会抹去这些证据，同时保留视觉上显著但无关的区域。本文提出ET-Prune，一个无训练框架，将修剪视为证据分配。它从解码器侧的部分查询-键块中推导出条件于问题的证据，保护文本样式的空间区域，并将证据的不确定性和密度转化为样本特定的令牌下限。通过三个渐进的中间层事件，序列向预算移动，为分散或文本密集的证据保留更多令牌，并更积极地修剪集中证据。实验结果显示，ET-Prune在所有六个基准比较中以大约一半的令牌领先或持平于其他修剪方法。

🔬 方法详解

问题定义：本文旨在解决在OCR中心任务中，固定比例的视觉令牌修剪无法有效保留与问题相关的关键信息的问题。现有方法往往会无差别地修剪重要证据，导致推理性能下降。

核心思路：ET-Prune的核心思路是将视觉令牌修剪视为证据分配，通过从解码器侧的部分查询-键块中提取问题条件的证据，动态调整令牌的保留策略，以确保重要信息不被删除。

技术框架：ET-Prune的整体架构包括三个主要模块：首先，从部分查询-键块中提取条件证据；其次，根据证据的不确定性和密度设定样本特定的令牌下限；最后，通过三个渐进的中间层事件调整令牌预算，确保对重要证据的保留。

关键创新：ET-Prune的创新在于其训练自由的框架和动态预算分配机制，能够根据输入的文本密度和证据分布灵活调整修剪策略，与传统的固定比例修剪方法形成鲜明对比。

关键设计：在设计上，ET-Prune引入了样本特定的令牌下限，利用证据的不确定性和密度来指导修剪决策，确保在保留重要信息的同时，优化推理成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ET-Prune在OCRBench-v2上相较于最强的修剪基线提高了1.80和0.68个百分点，同时在MMBench v1.1上达到了0.8467的圆形精确匹配准确率，显示出在保留约54.45%视觉令牌的情况下，显著提升了模型性能。

🎯 应用场景

ET-Prune在OCR任务和其他文本丰富的多模态应用中具有广泛的潜在应用价值。通过有效的视觉令牌修剪，该方法能够提高模型的推理效率，降低计算成本，适用于实时信息提取、智能问答系统等领域，未来可能推动多模态AI的发展。

📄 摘要（原文）

Visual token pruning reduces the inference cost of multimodal large language models, but a fixed token ratio is poorly matched to text-rich inputs. In OCR-centric tasks, decisive evidence can be a small number, label, or field whose relevance is specified by the question; indiscriminate pruning can erase that evidence while retaining visually salient but irrelevant regions. We present ET-Prune, a training-free framework that casts pruning as evidence allocation. It derives question-conditioned evidence from a decoder-side partial query-key block, safeguards text-like spatial regions, and converts evidence uncertainty and density into a sample-specific token floor. Three progressive middle-layer events then move the sequence toward this budget, retaining more tokens for diffuse or text-dense evidence and pruning concentrated evidence more aggressively. At the observed point estimates from one deterministic pass per configuration, ET-Prune leads or ties among pruned methods in all six backbone-benchmark comparisons at roughly half tokens. On OCRBench-v2, it leads the strongest pruned baselines by 1.80 and 0.68 percentage points on Qwen3-VL-8B and InternVL3.5-8B, respectively, while retaining about half of the visual tokens; on MMBench v1.1, it reaches 0.8467 circular exact-matching accuracy versus 0.8437 for Vanilla at 54.45% average visual-token retention. These results show a favorable observed quality-cost trade-off for evidence-aware dynamic budgeting in text-rich multimodal inference.