Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference

📄 arXiv: 2606.31903v1 📥 PDF

作者: Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

分类: cs.CV, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出操作级视觉跳过机制以提高多模态LLM推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉标记处理 推理效率 操作级跳过 视觉问答

📋 核心要点

  1. 现有加速方法在处理视觉标记时，往往采用粗略的策略，可能导致有用信息的丢失。
  2. 本文提出了一种操作级视觉标记跳过框架，能够根据操作的有效性选择性地跳过冗余计算。
  3. 实验结果显示，该方法在Qwen3-VL上减少了33.7%的TFLOPs，同时保留了99.5%的模型性能。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在处理长视觉标记序列时，推理计算量显著增加。现有加速方法通常通过移除视觉标记或跳过整个层的视觉标记更新，但这些粗略策略可能会丢失细粒度证据或抑制有用的操作。本文从可观察答案的角度研究视觉标记计算，发现后期视觉标记更新虽然保持较大，但对答案标记表示的影响较小。基于这一冗余现象，本文提出了一种操作级视觉标记跳过框架，能够在保留完整视觉标记序列的同时，有选择性地绕过冗余的注意力、前馈网络（FFN）或两者。实验表明，该方法在三种MLLM架构和10个视觉问答基准上实现了良好的效率与准确性平衡。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在处理长视觉标记序列时的计算效率问题。现有方法通过粗略的视觉标记移除或层级跳过，导致有用信息的丢失，影响模型性能。

核心思路：论文提出了一种基于操作级别的视觉标记跳过机制，重点在于识别并绕过冗余的注意力和前馈网络计算，从而提高推理效率。通过分析视觉标记更新对答案标记的影响，发现可以选择性地跳过某些计算。

技术框架：该框架将Transformer层分解为注意力和FFN操作，允许在保持完整视觉标记序列的同时，选择性地跳过冗余的计算。主要模块包括视觉标记的观察、操作选择和跳过机制。

关键创新：最重要的创新在于提出了操作级别的跳过策略，能够根据操作的有效性进行选择性计算，显著提高了推理效率，与现有方法相比，能够更好地保留有用信息。

关键设计：在设计中，关键参数包括操作选择的阈值和跳过策略的实现方式，损失函数则考虑了模型性能与计算效率之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在Qwen3-VL模型上减少了33.7%的TFLOPs，同时保留了99.5%的原始模型性能，展现了良好的效率与准确性平衡，优于现有的加速策略。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、图像理解和多模态交互系统等。通过提高多模态大型语言模型的推理效率，该方法能够在实际应用中降低计算资源消耗，提升用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal large language models (MLLMs) increasingly process long visual-token sequences, increasing the overall inference computation. Existing acceleration methods usually remove visual tokens or skip visual-token updates in entire layers, but these coarse strategies may discard fine-grained evidence or suppress useful operators together with redundant ones. In this paper, we study visual-token computation from an answer-observable perspective and find that late visual-token updates can remain large while having little effect on answer-token representations. Motivated by this answer-silent redundancy, we decompose each Transformer layer into attention and FFN operators and show that useful visual computation is often operator-dominant and layer-dependent. We propose an operator-level visual-token skipping framework that preserves the full visual-token sequence while selectively bypassing redundant attention, FFN, or both. Experiments across three MLLM architectures and 10 VQA benchmarks show that our method achieves strong efficiency-accuracy trade-offs, reducing \textbf{33.7\%} TFLOPs on Qwen3-VL while retaining \textbf{99.5\%} of the vanilla model performance.