An AI4AI Framework for Visual Token Pruning

📄 arXiv: 2608.07193v1 📥 PDF

作者: Zhen Liu, Wenli Huang, Wei Song, Yuhan Liu, Zhiqin Yang, Jingwen Fu

分类: cs.LG, cs.CV

发布日期: 2026-08-07

💡 一句话要点

提出AI4AI框架以实现视觉标记剪枝

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉标记剪枝 多模态大语言模型 自动化设计 算法优化 推理效率

📋 核心要点

  1. 现有的视觉标记剪枝方法依赖于固定的手工启发式，导致设计空间导航困难且效率低下。
  2. 本文提出了AutoPrune框架，利用大型语言模型自动设计视觉标记剪枝策略，简化了剪枝过程。
  3. 在14个多模态基准和三种大语言模型上进行的实验表明，AutoPrune在性能和效率上均有显著提升。

📝 摘要（中文）

视觉标记剪枝可以显著降低多模态大语言模型的推理成本，但现有方法主要依赖固定的手工启发式和昂贵的专家试错。随着剪枝目标、预算和模型架构的多样化，手动导航不断扩展的设计空间变得越来越困难。本文旨在构建一个AI4AI框架，通过探讨一个自然问题：大型语言模型能否自动设计有效的视觉标记减少算法。我们提出了AutoPrune，一个无训练的框架，用于基于LLM的视觉标记剪枝策略设计。AutoPrune引入了一个包含131个可重用原子的标记剪枝领域特定语言（TPDSL），有效地缩小了搜索空间并提高了性能。实验表明，AutoPrune在移除94.4%的视觉标记的同时，仍能保持99%以上的完整标记性能，FLOPs减少9.9倍，预填充延迟减少6.4倍。

🔬 方法详解

问题定义：本文解决的是视觉标记剪枝中的设计效率问题。现有方法依赖手工设计，难以适应多样化的剪枝目标和模型架构，导致效率低下。

核心思路：论文的核心思路是利用大型语言模型（LLM）自动生成视觉标记剪枝策略，通过设计合适的搜索状态表示，将LLM的内部知识与剪枝的结构要求相连接。

技术框架：AutoPrune框架包括一个标记剪枝领域特定语言（TPDSL），该语言包含131个可重用原子，用于预算控制、标记评分、选择约束和标记重组。TPDSL通过残差修改的方式表示每个搜索状态，从而缩小搜索空间。

关键创新：最重要的技术创新在于TPDSL的设计，它通过残差形式连接LLM的知识与剪枝策略，显著提高了搜索效率和性能。与现有方法相比，AutoPrune能够更有效地聚焦于对性能影响最大的策略组件。

关键设计：TPDSL的设计允许灵活的预算控制和标记选择，关键参数设置和损失函数的选择确保了剪枝策略的有效性和可转移性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AutoPrune在移除94.4%的视觉标记后，仍能保持超过99%的完整标记性能。同时，FLOPs减少了9.9倍，预填充延迟减少了6.4倍，展现了其在效率和性能上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过自动化剪枝策略设计，能够在资源受限的环境中提升模型的推理效率，降低计算成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.