When Do Fewer Visual Tokens Accelerate Multimodal Inference? A Break-Even Study Across Decision Locations and Hardware

📄 arXiv: 2608.03649v1 📥 PDF

作者: Hao Dou, Ruiwen Tian

分类: cs.CV

发布日期: 2026-08-04

备注: 16 pages, 3 figures, 13 tables. Experiments use Qwen2.5-VL-3B-Instruct on RTX 3090 and A100 PCIe GPUs

💡 一句话要点

提出视觉标记优化策略以加速多模态推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉标记 延迟优化 自回归探针 计算机视觉

📋 核心要点

  1. 现有方法中，减少视觉标记并不一定能降低整体推理延迟，存在决策开销等问题。
  2. 论文提出了一种阶段级分解的方法，通过评估决策开销和共享工作来优化多模态推理。
  3. 实验结果表明，轻量级后视觉预测器在特定硬件上表现出显著的性能提升，尤其是在A100上。

📝 摘要（中文）

本研究探讨了减少视觉标记是否能有效降低端到端延迟。通过可重复的协议评估决策开销、共享工作及各策略可避免的操作，进行阶段级分解以调和这些组件与测量的端到端延迟。在30个示例的初步实验中，测试的自回归探针在状态重用情况下仍然慢于完整模型。轻量级后视觉预测器在RTX 3090和A100上产生的配对置信区间低于零，并在经过保守的全对霍尔姆校正后仍显著。预视觉图像大小规则也在两种GPU上产生低于零的区间，但在相同校正后均不显著。预视觉路由具有后视觉修剪所没有的结构性机会，可以避免预处理和视觉编码。对于A100，这一机会的价值超过了后视觉策略几乎八倍的下游标记减少。

🔬 方法详解

问题定义：本论文旨在解决减少视觉标记是否能有效降低多模态推理的端到端延迟这一问题。现有方法在减少标记时未能考虑决策开销和共享工作，导致延迟未必降低。

核心思路：论文通过引入阶段级分解的方法，系统评估决策开销和可避免的操作，提出了一种优化策略，以提高推理效率。

技术框架：整体架构包括数据预处理、视觉编码、决策阶段和后处理模块。通过对每个阶段的延迟进行测量和分析，识别出优化的关键点。

关键创新：最重要的创新在于提出了预视觉路由策略，该策略能够在避免预处理和视觉编码的情况下，显著降低延迟，与传统的后视觉修剪方法形成鲜明对比。

关键设计：在实验中，采用了轻量级后视觉预测器，并设置了特定的图像大小规则。通过全对霍尔姆校正对结果进行显著性检验，确保了实验结果的可靠性。实验还考虑了不同硬件（如RTX 3090和A100）的性能差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，轻量级后视觉预测器在RTX 3090和A100上产生的配对置信区间低于零，且在经过霍尔姆校正后仍保持显著性。预视觉路由策略在A100上表现出更优的性能，尽管后视觉策略在标记减少方面具有优势，但未能在延迟上实现相应的提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、机器人导航和智能监控等多模态系统。通过优化推理过程，可以在实时应用中显著提高效率，降低延迟，从而提升用户体验和系统响应能力。未来，该方法有望推广至更广泛的多模态学习任务中。

📄 摘要（原文）

Fewer visual tokens do not guarantee lower end-to-end latency. We evaluate break-even with a reproducible protocol that accounts for decision overhead, shared work, and the operators each policy can avoid. A stage-level decomposition reconciles these components with measured end-to-end latency. In a 30-example pilot, the two tested autoregressive probes remain slower than Full despite state reuse. A lightweight post-vision predictor yields paired confidence intervals below zero on RTX 3090 and A100 and remains significant after a conservative all-pairs Holm correction. A pre-vision image-size rule also yields intervals below zero on both GPUs, although neither comparison remains significant after the same correction. Pre-vision routing has a structural opportunity unavailable to post-vision pruning: it can avoid preprocessing and vision encoding. On A100, this opportunity outweighs a nearly eightfold larger downstream token reduction by the post-vision policy. Reported quality is conditional on examples answered correctly by Full and is not benchmark accuracy.