EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

📄 arXiv: 2403.09977v1 📥 PDF

作者: Xiaohuan Pei, Tao Huang, Chang Xu

分类: cs.CV, cs.AI

发布日期: 2024-03-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出EfficientVMamba以解决轻量级视觉模型的效率与准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 轻量级模型 视觉状态空间模型 空洞卷积 选择性扫描 计算机视觉 特征提取 模型优化

📋 核心要点

  1. 现有轻量级模型在准确性与计算效率之间存在显著的权衡，CNN和Transformer各有不足。
  2. 本文提出EfficientVMamba，通过空洞卷积的选择性扫描方法，整合全局与局部特征，降低计算复杂度。
  3. 实验结果显示，EfficientVMamba在ImageNet上以1.3G FLOPs的计算量，较Vim-Ti的1.5G FLOPs提升了5.6%的准确率。

📝 摘要（中文）

以往轻量级模型的开发主要集中在CNN和Transformer设计上，但面临着持续的挑战。CNN在局部特征提取方面表现出色，但牺牲了分辨率；而Transformer虽然具有全局视野，但计算需求呈现$ ext{O}(N^2)$的增长。为了解决这一准确性与效率之间的权衡问题，本文提出了一种新颖的高效模型变体EfficientVMamba，结合了基于空洞卷积的选择性扫描方法，通过高效的跳跃采样来整合全局和局部特征。此外，研究还探讨了SSM模块与卷积的结合，提出了一种高效的视觉状态空间模块，进一步提升了模型性能。实验结果表明，EfficientVMamba在多种视觉任务中表现出色，显著降低了计算复杂度。

🔬 方法详解

问题定义：本文旨在解决轻量级视觉模型在准确性与计算效率之间的权衡问题。现有的CNN和Transformer方法在特征提取时分别存在分辨率和计算复杂度的不足。

核心思路：EfficientVMamba通过引入空洞卷积的选择性扫描方法，利用高效的跳跃采样来同时捕捉全局和局部特征，从而在保持准确性的同时降低计算复杂度。

技术框架：该模型主要由视觉状态空间模块和卷积分支组成，整体架构设计旨在优化特征提取过程，提升模型的表现。

关键创新：EfficientVMamba的主要创新在于将SSM模块与卷积相结合，形成了一种新的高效视觉状态空间模块，这一设计显著提高了模型的性能和效率。

关键设计：在模型设计中，采用了空洞卷积和跳跃采样的组合，设置了适当的参数以平衡计算复杂度与模型性能，确保在多种视觉任务中均能取得优异表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EfficientVMamba-S以1.3G FLOPs的计算量，在ImageNet数据集上较Vim-Ti的1.5G FLOPs提升了5.6%的准确率，显示出其在轻量级视觉模型中的竞争力和有效性。

🎯 应用场景

EfficientVMamba的研究成果在计算机视觉领域具有广泛的应用潜力，尤其适用于资源受限的设备，如移动端和嵌入式系统。其高效的特征提取能力可以推动实时图像处理、目标检测和图像分类等任务的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands $\mathcal{O}(N^2)$. This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to $\mathcal{O}(N)$. Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with $1.3$G FLOPs improves Vim-Ti with $1.5$G FLOPs by a large margin of $5.6\%$ accuracy on ImageNet. Code is available at: \url{https://github.com/TerryPei/EfficientVMamba}.