SiMBA: Simplified Mamba-Based Architecture for Vision and Multivariate Time series

📄 arXiv: 2403.15360v2 📥 PDF

作者: Badri N. Patro, Vijay S. Agneeswaran

分类: cs.CV, cs.LG, eess.IV, eess.SY

发布日期: 2024-03-22 (更新: 2024-04-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出SiMBA以解决长序列建模的稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 长序列建模 计算机视觉 时间序列分析 爱因斯坦傅里叶变换 Mamba块 深度学习

📋 核心要点

  1. 现有的注意力网络在处理长序列时存在低归纳偏置和输入序列长度的平方复杂度等问题，影响了性能。
  2. SiMBA通过EinFFT进行通道建模，并结合Mamba块进行序列建模，旨在提高长序列的建模稳定性和效率。
  3. SiMBA在多个图像和时间序列基准测试中超越了现有SSM，成为ImageNet及其他基准的最新状态，展示了显著的性能提升。

📝 摘要（中文）

本文提出了一种新架构SiMBA，旨在解决现有状态空间模型（SSM）在计算机视觉数据集上扩展至大规模网络时的稳定性问题。SiMBA通过引入爱因斯坦快速傅里叶变换（EinFFT）进行通道建模，并利用Mamba块进行序列建模。大量实验结果表明，SiMBA在图像和时间序列基准测试中表现优异，缩小了与最先进的变换器之间的性能差距，成为ImageNet及其他转移学习和任务学习基准上的新一代SSM。

🔬 方法详解

问题定义：本文旨在解决现有状态空间模型（SSM）在计算机视觉任务中扩展至大规模网络时的稳定性问题。现有的Mamba模型虽然是最先进的SSM，但在处理大规模数据时表现不稳定，限制了其应用。

核心思路：SiMBA的核心思路是通过引入爱因斯坦快速傅里叶变换（EinFFT）来进行通道建模，同时利用Mamba块进行序列建模。这种设计旨在提高模型的稳定性和处理长序列的能力。

技术框架：SiMBA的整体架构包括两个主要模块：EinFFT用于通道建模，Mamba块用于序列建模。通过这两个模块的结合，SiMBA能够有效处理长序列数据，同时保持高效的计算性能。

关键创新：SiMBA的主要创新在于将EinFFT与Mamba块结合，形成了一种新的通道和序列建模方法。这一设计显著提高了模型在长序列数据上的稳定性和性能，区别于传统的注意力网络和其他SSM。

关键设计：在模型设计中，SiMBA对EinFFT的参数进行了精细调整，以优化通道建模效果。同时，Mamba块的结构也经过改进，以适应更大规模的数据集，确保模型在训练和推理过程中的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SiMBA在多个基准测试中表现出色，尤其是在ImageNet和斯坦福汽车、花卉等转移学习任务上，显著提升了性能，成为最新的SSM，展示了在七个时间序列基准数据集上的优越性。

🎯 应用场景

SiMBA的研究成果在计算机视觉和时间序列分析等领域具有广泛的应用潜力。其高效的长序列建模能力使其适用于图像分类、目标检测以及金融数据预测等任务，未来可进一步推动智能监控、自动驾驶等技术的发展。

📄 摘要（原文）

Transformers have widely adopted attention networks for sequence mixing and MLPs for channel mixing, playing a pivotal role in achieving breakthroughs across domains. However, recent literature highlights issues with attention networks, including low inductive bias and quadratic complexity concerning input sequence length. State Space Models (SSMs) like S4 and others (Hippo, Global Convolutions, liquid S4, LRU, Mega, and Mamba), have emerged to address the above issues to help handle longer sequence lengths. Mamba, while being the state-of-the-art SSM, has a stability issue when scaled to large networks for computer vision datasets. We propose SiMBA, a new architecture that introduces Einstein FFT (EinFFT) for channel modeling by specific eigenvalue computations and uses the Mamba block for sequence modeling. Extensive performance studies across image and time-series benchmarks demonstrate that SiMBA outperforms existing SSMs, bridging the performance gap with state-of-the-art transformers. Notably, SiMBA establishes itself as the new state-of-the-art SSM on ImageNet and transfer learning benchmarks such as Stanford Car and Flower as well as task learning benchmarks as well as seven time series benchmark datasets. The project page is available on this website ~\url{https://github.com/badripatro/Simba}.