LearnPrunerV2: Learnable Progressive Token Pruning for Vision-Language Models

📄 arXiv: 2610.36986v1 📥 PDF

作者: Rinyoichi Takezoe, Yaqian Li, Weiren Wang, Zihao Bo, Huihong Shi, Anzhou Hou, Mo Guang, Jiale Yan, Kaiwen Long

分类: cs.CV, cs.AI

发布日期: 2026-10-27

备注: Accepted to ACM Multimedia 2026

💡 一句话要点

提出LearnPrunerV2以解决视觉语言模型的高计算开销问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 标记剪枝 多模态学习 可学习模块 预算确定性剪枝 计算效率 深度学习

📋 核心要点

  1. 现有视觉语言模型在处理大量视觉标记时面临高计算开销，剪枝方法存在不可靠的标准和刚性策略。
  2. 本文提出LearnPrunerV2，通过可学习模块动态评估标记重要性，结合视觉显著性与查询相关性。
  3. 实验结果显示，LearnPrunerV2在多个基准上超越了现有最优方法，显著提高了准确性与效率的平衡。

📝 摘要（中文）

视觉语言模型（VLMs）展现了卓越的多模态能力，但由于视觉标记数量庞大，计算开销极高。现有的标记剪枝方法存在两个主要缺陷：一是剪枝标准不可靠，无法准确定位任务特定区域；二是采用刚性、非自适应的剪枝策略，忽视了不同模型深度下标记冗余的动态演变。为了解决这些问题，本文提出LearnPrunerV2，将之前的两阶段启发式框架扩展为完全可学习的架构。通过在VLM主干的每一层集成轻量级可学习模块，估计标记重要性，结合内在视觉显著性与外在查询相关性。实验结果表明，LearnPrunerV2在多个基准测试中表现优异，尤其在LLaVA-v1.5上剪枝77.8%的视觉标记时，仍保留99.8%的原始性能。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在处理大量视觉标记时的高计算开销问题。现有方法的痛点在于剪枝标准不可靠，无法有效定位任务特定区域，同时采用的剪枝策略缺乏灵活性，无法适应不同模型深度的标记冗余动态变化。

核心思路：论文的核心解决思路是将LearnPruner扩展为完全可学习的架构，通过在每一层集成轻量级可学习模块，动态评估标记的重要性。这种设计使得模型能够更好地融合视觉信息与查询相关性，从而提高剪枝的准确性。

技术框架：整体架构包括两个主要阶段：首先，在每一层引入可学习模块以评估标记重要性；其次，采用预算确定性剪枝（BDP）策略，设定每层固定的剪枝预算，以实现硬件友好的剪枝调度。

关键创新：最重要的技术创新点在于引入了可学习模块和预算确定性剪枝策略，这与现有方法的静态剪枝策略形成了本质区别，使得剪枝过程更加灵活和高效。

关键设计：关键设计包括可学习模块的结构、损失函数的设置，以及如何有效融合视觉显著性与查询相关性。此外，论文还提出了固定每层预算的剪枝策略，以确保剪枝过程的可控性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LearnPrunerV2在多个基准测试中表现优异，特别是在LLaVA-v1.5上，剪枝77.8%的视觉标记时仍能保留99.8%的原始性能，显著提升了准确性与效率的平衡。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和多模态学习等。通过提高视觉语言模型的效率，LearnPrunerV2能够在资源受限的环境中实现更高效的推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language Models (VLMs) have demonstrated remarkable multimodal capabilities but suffer from prohibitive computational overhead due to the massive number of visual tokens. While token pruning is a promising solution, existing methods still suffer from two major drawbacks: 1) unreliable pruning criteria that fail to accurately localize task-specific regions due to inherent attention biases or query-agnostic designs, and 2) suboptimal pruning strategies that employ rigid, non-adaptive schedules, overlooking the dynamic evolution of token redundancy across different model depths. To address these challenges, we propose LearnPrunerV2, which extends the previous two-stage heuristic framework (LearnPruner) into a fully learnable architecture. Specifically, we integrate lightweight learnable modules into every layer of the VLM backbone, which estimate token importance by fusing intrinsic visual saliency with extrinsic query relevance captured via a shadow token. By uncovering a consistent staircase redundancy pattern across VLM layers, we further introduce Budget-Deterministic Pruning (BDP) to establish a hardware-friendly schedule with fixed per-layer budgets. Extensive experimental results across various benchmarks and VLMs demonstrate that LearnPrunerV2 consistently outperform previous state-of-the-art methods. Notably, LearnPrunerV2 preserves 99.8% of the original performance when pruning 77.8% of visual tokens on LLaVA-v1.5, achieving a superior accuracy-efficiency trade-off.