GSTEP: Global Spatio-Temporal Density-Driven Visual Token Pruning for Efficient Video Large Language Models

📄 arXiv: 2608.03083v1 📥 PDF

作者: Mengjie Zhang, Qihui Zhu, Tao Zhang, Shuangwu Chen, Huihuang Qin, Yu Guo, Shenghao Ye, Zijian Wen, Yunpeng Hou, Dong Jin, Xiaobin Tan, Huasen He, Jian Yang

分类: cs.CV, cs.CL

发布日期: 2026-08-04

备注: 4 figures, accepted to ACM MM 26'

💡 一句话要点

提出GSTEP以解决视频大语言模型中的冗余视觉标记问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频大语言模型 时空信息流 视觉标记剪枝 信息密度 全局采样 视频理解 效率提升

📋 核心要点

  1. 现有的标记剪枝方法主要依赖于局部剪枝，可能导致重要信息的丢失，尤其是在短而密集的语义片段中。
  2. GSTEP通过将视频视为连续的时空信息流，结合时间和空间密度进行全局标记采样，从而提高了剪枝的有效性。
  3. 在LLaVA-OneVision-7B模型上，GSTEP实现了75%的视觉标记剪枝，保留了原始性能的100.2%，并实现了1.17倍的端到端加速。

📝 摘要（中文）

视频大语言模型（VideoLLMs）在视频理解方面表现出色，但由于长视频中冗余的时空视觉标记，推理成本依然高昂。现有的标记剪枝方法通过减少冗余标记来缓解这一成本，但大多数方法依赖于局部剪枝，可能会丢失短而语义密集的片段。为了解决这一问题，本文提出了GSTEP（全球时空密度驱动的视觉标记剪枝），该框架将视频建模为连续的时空信息流，通过结合时间密度和空间密度进行全局标记采样。大量实验表明，GSTEP在多个VideoLLMs和公共基准上实现了良好的准确性与效率平衡。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型中冗余视觉标记导致的推理成本高的问题。现有方法多依赖于局部剪枝，可能无法有效保留重要的语义信息。

核心思路：GSTEP的核心思路是将视频视为一个连续的时空信息流，通过构建标记级别的时空密度，进行全局标记采样，以更好地平衡信息密度和覆盖率。

技术框架：GSTEP的整体架构包括两个主要模块：首先，构建基于平滑中心帧变化信号的时间密度和帧内空间密度；其次，进行全局标记采样，以优化信息的保留和覆盖。

关键创新：GSTEP的创新在于其全球时空密度驱动的剪枝策略，与传统的局部剪枝方法相比，能够更全面地考虑视频的整体语义信息。

关键设计：在技术细节上，GSTEP采用了平滑的中心帧变化信号来计算时间密度，结合了空间密度进行全局采样，确保了重要信息的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GSTEP在LLaVA-OneVision-7B模型上实现了75%的视觉标记剪枝，保留了原始性能的100.2%，并在多个基准测试中表现出色，达到了1.17倍的端到端速度提升，显示出其在效率和准确性上的显著优势。

🎯 应用场景

GSTEP的研究成果在视频理解、自动视频摘要、视频检索等领域具有广泛的应用潜力。通过提高视频大语言模型的推理效率，该方法能够支持实时视频分析和处理，推动多媒体内容的智能化应用。

📄 摘要（原文）

Video large language models (VideoLLMs) achieve strong video understanding performance, but their inference remains expensive due to the large number of redundant spatio-temporal visual tokens in long videos. Existing token pruning methods alleviate this cost by reducing redundant tokens, yet most of them rely on segment-level local pruning, where videos are partitioned into isolated segments and tokens are selected independently within each segment. Such designs may under-preserve short but semantically dense segments and discard tokens that appear non-salient locally but remain critical from a global perspective. To address this issue, we propose GSTEP (Global Spatio-Temporal Density Pruning), a plug-and-play pruning framework that models video as a continuous spatio-temporal information flow. GSTEP constructs a token-level spatio-temporal density by combining a continuous temporal density, obtained from a smoothed centered frame-level change signal, with intra-frame spatial density, and then performs global token sampling by jointly balancing information density and coverage. Extensive experiments on multiple VideoLLMs and public benchmarks demonstrate that GSTEP consistently achieves strong accuracy-efficiency trade-offs and generalizes well across model architectures and evaluation settings. On LLaVA-OneVision-7B, GSTEP prunes 75% of visual tokens, preserves up to 100.2% of the original average performance across benchmarks, and achieves a 1.17 end-to-end speedup.