Spatial-Aware Reduction Framework: Towards Efficient and Faithful Visual State Space Models

📄 arXiv: 2606.19932v1 📥 PDF

作者: Jindi Lv, Aoyu Li, Yuhao Zhou, Zheng Zhu, Xiaofeng Wang, Qing Ye, Yueqi Duan, Wentao Feng, Jiancheng Lv

分类: cs.CV, cs.AI

发布日期: 2026-06-18

备注: Accepted by ICML 2026

💡 一句话要点

提出STORM框架以解决视觉状态空间模型中的效率与准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉状态空间模型 令牌减少 空间感知 Mamba 深度学习 模型压缩 视频理解

📋 核心要点

  1. 现有的令牌减少方法在处理结构增强的Mamba变体时，导致严重的性能下降，主要由于其空间无关的特性。
  2. STORM框架通过将令牌减少重新定义为对空间单元的结构化操作，保持了网格拓扑和邻域一致性，从而解决了这一问题。
  3. 实验结果显示，STORM在VMamba上实现了最高63.3%的准确性提升，并在PlainMamba上仅有1.0%的准确性下降，性能与ViT相当。

📝 摘要（中文）

Mamba在建模长视觉序列方面表现出色，但在对结构增强的Mamba变体应用令牌减少时，性能严重下降。我们将这种降级归因于现有减少方法的空间无关特性，这违反了选择性扫描机制所需的二维结构前提。本文提出了STORM，一个空间感知的令牌减少框架，旨在在压缩过程中保持结构完整性。STORM将减少过程重新构造成对空间单元的结构化操作，强制局部约束以维持网格拓扑和邻域一致性。作为一个即插即用模块，STORM为现有的减少管道提供了明确的空间感知，而无需任何训练。实验证明，STORM在无训练设置下在多种视觉Mamba骨干网络上实现了最先进的修剪准确性。

🔬 方法详解

问题定义：本文旨在解决现有视觉状态空间模型在令牌减少过程中性能下降的问题，尤其是结构增强的Mamba变体在应用传统减少方法时的性能崩溃。

核心思路：STORM框架的核心思想是将令牌减少过程转化为对空间单元的结构化操作，通过引入局部约束来保持网格的拓扑结构和邻域的一致性，从而避免性能下降。

技术框架：STORM作为一个即插即用的模块，可以集成到现有的减少管道中，主要包括空间感知的令牌选择和局部约束的实施。其流程包括输入视觉数据、应用空间感知的令牌减少、输出压缩后的视觉特征。

关键创新：STORM的主要创新在于其空间感知的令牌减少机制，与传统的空间无关方法相比，能够有效保持结构完整性，显著提高模型的准确性。

关键设计：STORM在设计上不需要额外的训练，直接在现有模型上应用，关键参数设置包括局部约束的范围和选择性扫描机制的实现，确保了空间单元的有效性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STORM在无训练设置下实现了在多种视觉Mamba骨干网络上的最先进修剪准确性，特别是在VMamba上实现了高达63.3%的准确性提升，同时在PlainMamba上仅有1.0%的准确性下降，展现出其卓越的性能恢复能力。

🎯 应用场景

STORM框架在视觉序列建模、视频理解和图像处理等领域具有广泛的应用潜力。其高效的令牌减少机制能够提升模型在长序列处理中的性能，适用于实时视觉分析和智能监控等场景，未来可能推动更多基于视觉的AI应用的发展。

📄 摘要（原文）

Mamba demonstrates strong efficiency in modeling long visual sequences. However, when token reduction is applied to structurally enhanced Mamba variants, these models exhibit a severe performance collapse. We attribute this degradation to the spatially agnostic nature of existing reduction methods, which violate the two-dimensional structural premise required by the selective scanning mechanism. In this work, we propose STORM, a spatial-aware token reduction framework designed to maintain structural integrity throughout the compression process. STORM reformulates reduction into a structured operation on spatial units, enforcing localized constraints to maintain both grid topology and neighborhood coherence. As a plug-and-play module, STORM equips existing reduction pipelines with explicit spatial awareness without any training. Empirical results demonstrate that STORM achieves state-of-the-art pruning accuracy across diverse vision Mamba backbones under training-free settings. Notably, STORM delivers a substantial accuracy recovery on VMamba, outperforming prior methods by up to 63.3\% in top-1 accuracy. Meanwhile, STORM incurs only a 1.0\% accuracy drop on PlainMamba, achieving performance comparable to ViT.