VMamba: Visual State Space Model

📄 arXiv: 2401.10166v4 📥 PDF

作者: Yue Liu, Yunjie Tian, Yuzhong Zhao, Hongtian Yu, Lingxi Xie, Yaowei Wang, Qixiang Ye, Jianbin Jiao, Yunfan Liu

分类: cs.CV

发布日期: 2024-01-18 (更新: 2024-12-29)

备注: 33 pages, 14 figures, 15 tables. NeurIPS 2024 spotlight

🔗 代码/项目: GITHUB

💡 一句话要点

提出VMamba以解决计算机视觉中的网络架构效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉状态空间 选择扫描 计算效率 网络架构 视觉感知 深度学习

📋 核心要点

  1. 现有计算机视觉模型在处理复杂数据时效率低下，难以满足实时应用需求。
  2. VMamba通过引入视觉状态空间块和二维选择扫描模块，优化了网络架构，实现了线性时间复杂度。
  3. 实验结果显示，VMamba在多种视觉任务中表现优异，尤其在输入扩展效率上显著优于传统模型。

📝 摘要（中文）

设计计算高效的网络架构在计算机视觉领域仍然是一个持续的挑战。本文将Mamba，一种状态空间语言模型，改编为VMamba，一种具有线性时间复杂度的视觉主干网络。VMamba的核心是由视觉状态空间（VSS）块和二维选择扫描（SS2D）模块组成，通过四条扫描路径的遍历，SS2D弥合了一维选择扫描的有序特性与二维视觉数据的非顺序结构之间的差距，从而促进了来自不同来源和视角的上下文信息的收集。基于VSS块，本文开发了一系列VMamba架构，并通过一系列架构和实现的增强加速了它们。大量实验表明，VMamba在多种视觉感知任务中表现出色，尤其在输入扩展效率上优于现有基准模型。

🔬 方法详解

问题定义：本文旨在解决计算机视觉中网络架构效率低下的问题，现有方法在处理复杂的二维视觉数据时，往往面临时间复杂度高和上下文信息收集不足的挑战。

核心思路：VMamba的核心思想是通过引入视觉状态空间（VSS）块和二维选择扫描（SS2D）模块，优化信息收集过程，使得网络在处理视觉数据时能够保持线性时间复杂度，从而提高计算效率。

技术框架：VMamba的整体架构包括多个VSS块和SS2D模块，SS2D模块通过四条扫描路径遍历视觉数据，确保上下文信息的全面收集。该架构经过一系列的设计优化，以提升其性能和效率。

关键创新：VMamba的主要创新在于将状态空间模型的思想引入视觉任务，特别是通过SS2D模块有效整合了有序和非顺序数据的处理方式，显著提升了信息收集的效率。

关键设计：在设计上，VMamba采用了特定的参数设置以优化网络性能，损失函数的选择也经过精心设计，以确保模型在训练过程中的收敛性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VMamba在多个视觉感知任务中表现优异，相较于现有基准模型，其输入扩展效率提升显著，具体性能数据未详细列出，但整体性能提升幅度明显，展示了其在实际应用中的潜力。

🎯 应用场景

VMamba在计算机视觉领域的潜在应用广泛，包括实时图像识别、视频分析、自动驾驶等场景。其高效的网络架构能够支持更复杂的视觉任务，提升系统的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Designing computationally efficient network architectures remains an ongoing necessity in computer vision. In this paper, we adapt Mamba, a state-space language model, into VMamba, a vision backbone with linear time complexity. At the core of VMamba is a stack of Visual State-Space (VSS) blocks with the 2D Selective Scan (SS2D) module. By traversing along four scanning routes, SS2D bridges the gap between the ordered nature of 1D selective scan and the non-sequential structure of 2D vision data, which facilitates the collection of contextual information from various sources and perspectives. Based on the VSS blocks, we develop a family of VMamba architectures and accelerate them through a succession of architectural and implementation enhancements. Extensive experiments demonstrate VMamba's promising performance across diverse visual perception tasks, highlighting its superior input scaling efficiency compared to existing benchmark models. Source code is available at https://github.com/MzeroMiko/VMamba.