One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs

📄 arXiv: 2606.14277v1 📥 PDF

作者: Yongru Chen, Kai Zhang, Zeliang Zong, Yuchen Lu, Wenming Tan, Ye Ren, Jilin Hu

分类: cs.CV

发布日期: 2026-06-12

备注: Accepted by CVPR 2026 (highlight)

💡 一句话要点

提出自适应层级视觉标记选择以解决LVLM计算负担问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态任务 标记选择 计算效率 信息损失

📋 核心要点

  1. 现有的视觉标记剪枝方法在特定层剪枝后，后续层无法访问这些标记，导致信息损失和模型性能下降。
  2. 本文提出自适应层级视觉标记选择（ALVTS），通过轻量级选择器动态识别重要标记，允许不重要的标记跳过层处理，减少计算冗余。
  3. 在LLaVA-1.5、LLaVA-NeXT和Qwen2.5-VL上的实验表明，ALVTS实现了89%的标记压缩率，同时保持了96.7%的模型准确率，提升了效率与准确性的平衡。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在多模态任务中取得了显著成功，但由于视觉标记的计算负担，其实际部署受到限制。现有的视觉标记剪枝方法存在局限性，一旦在特定层剪枝，后续层无法访问这些标记，导致信息损失。为此，本文提出了一种自适应层级视觉标记选择（ALVTS）框架，通过轻量级标记选择器识别和路由重要标记，从而减少计算冗余。实验结果表明，ALVTS在保持96.7%原始模型准确率的同时，实现了89%的标记压缩率，显著提升了效率与准确性的平衡。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型（LVLMs）在处理长视觉标记时的计算负担问题。现有的视觉标记剪枝方法一旦在某一层剪枝，后续层无法再访问这些标记，导致信息损失，影响模型性能。

核心思路：论文提出的自适应层级视觉标记选择（ALVTS）框架，旨在通过动态选择重要标记，避免静态剪枝带来的信息损失。该方法允许不重要的标记跳过处理，从而减少计算冗余。

技术框架：ALVTS框架包括一个轻量级的标记选择器，该选择器在每一层动态识别重要标记，并将其路由到后续处理。重要标记和不重要标记在经过选择后会被无缝整合，以便输入到后续层。

关键创新：ALVTS的主要创新在于其自适应选择机制，能够根据不同层的特征动态调整标记的使用，与传统的静态剪枝方法相比，显著减少了信息损失。

关键设计：该方法采用了一种重要性一致性约束的低秩近似技术，模拟全注意力机制的核心模式，而无需对模型进行重新训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ALVTS在LLaVA-1.5、LLaVA-NeXT和Qwen2.5-VL上实现了89%的标记压缩率，同时保持了96.7%的原始模型准确率。这一结果表明，ALVTS在效率与准确性之间达成了优越的平衡，显著提升了LVLM的推理性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高效处理视觉和语言信息的多模态任务中，如图像描述、视频理解和人机交互等领域。通过减少计算负担，ALVTS可以使LVLMs在资源受限的环境中更为高效地部署，推动智能系统的实际应用。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have achieved remarkable success across diverse multimodal tasks, yet their practical deployment remains constrained by the computational burden arising from lengthy visual tokens. While visual token pruning has emerged as a promising solution, existing methods suffer from a fundamental limitation: once tokens are pruned at a specific layer, they become inaccessible to all subsequent layers, leading to premature information loss that can compromise model performance. Through empirical studies, we observe that different layers exhibit distinct visual region focus, indicating a varying optimal token subset across layers. Motivated by this insight, we propose Adaptive Layer-wise Visual Token Selection (ALVTS), a novel framework that breaks away from the conventional static token pruning paradigm. ALVTS incorporates a lightweight token selector to identify and route important tokens for further processing, while allowing less important tokens to skip the layer, thus minimizing computational redundancy. These two streams of tokens are seamlessly reintegrated before being fed into subsequent layers, facilitating adaptive compression across the entire model. Grounded in our importance consistency constrained low-rank approximation, the proposed token selection module closely emulates the full attention mechanism, effectively capturing its essential patterns without requiring model retraining. Extensive experiments on LLaVA-1.5, LLaVA-NeXT, and Qwen2.5-VL validate the effectiveness of our method. With an 89% token compression ratio, ALVTS retains 96.7% of the original model's accuracy, achieving a superior efficiency-accuracy trade-off for LVLM inference.