LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference

📄 arXiv: 2607.27952v1 📥 PDF

作者: Feng Yang, Xinrui Ju, Keyang Zhang, Xiandong Meng, Rongqun Lin, Howard Leung, Shiqi Wang, Haoliang Li, Chris Xing Tian

分类: cs.CV, cs.AI

发布日期: 2026-07-30

💡 一句话要点

提出LAST框架以解决边缘云协作MLLM推理中的视觉令牌修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉令牌修剪 边缘计算 云计算 多模态推理 注意力机制 模型压缩 高效推理

📋 核心要点

  1. 现有的视觉令牌修剪方法多集中于云端推理，缺乏对查询的敏感性，导致无法有效降低推理成本。
  2. LAST框架通过利用最后查询令牌的注意力信号，实现了边缘侧的视觉令牌修剪，避免了对云模型的访问和复杂的生成过程。
  3. 在11个多模态基准测试中，LAST在保留95.4%全令牌准确率的同时，仅使用12.5%的视觉令牌，展现出显著的性能提升。

📝 摘要（中文）

多模态基础模型正在将边缘云视觉智能从特定任务特征管道转变为基于令牌的接口，然而，密集的视觉令牌序列增加了云端推理成本。现有的修剪方法主要针对集中式推理，缺乏查询引导的能力。为此，本文提出LAST，一个无训练的框架，通过最后查询令牌的注意力信号进行视觉令牌的修剪。LAST在不需要云模型访问的情况下，能够保留与查询相关的多样化视觉令牌，显著降低了边缘侧选择开销和云侧计算负担。

🔬 方法详解

问题定义：本文旨在解决边缘云协作MLLM推理中视觉令牌的修剪问题。现有方法往往无法在传输前有效评估令牌的相关性，导致推理成本高昂。

核心思路：LAST框架通过最后查询令牌的注意力信号来指导视觉令牌的修剪，避免了对云端模型的依赖，实现了查询感知的修剪过程。

技术框架：LAST的整体架构包括一个紧凑的边缘侧视觉语言模型（VLM）作为引导代理，通过最后查询令牌的注意力信号来评估视觉令牌的重要性。

关键创新：LAST的主要创新在于其训练自由的设计，能够在不进行复杂的注意力聚合或生成的情况下，实现高效的视觉令牌修剪。

关键设计：LAST通过设置固定的令牌预算，保留与查询相关的多样化视觉令牌，且在边缘侧的选择开销低，云侧计算负担减少。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LAST在11个多模态基准测试中表现优异，保留了95.4%的全令牌准确率，同时仅使用12.5%的视觉令牌，相较于其他修剪方法展现出更低的边缘侧选择开销和云侧计算需求，证明了其有效性。

🎯 应用场景

LAST框架可广泛应用于边缘计算和云计算协作的多模态推理场景，如智能监控、自动驾驶和增强现实等领域。其高效的视觉令牌修剪能力将显著提升系统的响应速度和资源利用率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal foundation models are reshaping edge-cloud visual intelligence from task-specific feature pipelines into token-based interfaces, where edge devices encode visual inputs into tokens for a general-purpose cloud MLLM. However, dense visual-token sequences increase cloud-side inference costs. Existing pruning methods mainly target centralized inference: vision-driven methods can operate before cloud execution but are typically query-agnostic, whereas query-guided methods often rely on internal states of the target MLLM and cannot determine token relevance before transmission. Compact guidance models offer an alternative, but existing designs may require costly attention aggregation or auxiliary generation. We propose LAST, a training-free framework for query-dependent visual token pruning in edge-cloud collaborative MLLM inference. LAST uses a compact edge-side VLM as a guidance proxy and derives a lightweight importance signal from the last query token's attention to visual tokens. Under causal attention, the last query token can attend to the full visual sequence and the entire query context, enabling query-aware pruning without cloud-model access, autoregressive generation, or costly aggregation over multiple query positions. LAST then retains a diverse set of query-relevant visual tokens under a fixed token budget. We evaluate LAST on 11 multimodal benchmarks under multiple token budgets against pruning methods with different guidance strategies. Experiments show that LAST consistently achieves the strongest performance, preserving 95.4% of the full-token accuracy while retaining only 12.5% of the visual tokens, with low edge-side selection overhead and reduced cloud-side computation.