MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection

📄 arXiv: 2404.06564v4 📥 PDF

作者: Haoyang He, Yuhu Bai, Jiangning Zhang, Qingdong He, Hongxu Chen, Zhenye Gan, Chengjie Wang, Xiangtai Li, Guanzhong Tian, Lei Xie

分类: cs.CV

发布日期: 2024-04-09 (更新: 2025-03-09)

备注: NeurIPS'24

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MambaAD以解决多类无监督异常检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异常检测 无监督学习 状态空间模型 长距离依赖 多类分类 深度学习 卷积神经网络 变换器

📋 核心要点

  1. 现有的异常检测方法在处理长距离依赖和计算复杂度方面存在不足，限制了其应用效果。
  2. 论文提出的MambaAD模型通过引入局部增强状态空间模块，结合混合状态空间块和多核卷积，提升了异常检测的能力。
  3. 在六个多样化的数据集上进行的实验表明，MambaAD在多个指标上均表现出色，达到了最先进的性能水平。

📝 摘要（中文）

近年来，异常检测领域的研究取得了显著进展，尤其是基于卷积神经网络（CNN）和变换器的方法。然而，CNN在处理长距离依赖时表现不佳，而变换器则面临二次计算复杂度的挑战。Mamba模型因其优越的长距离建模能力和线性效率而受到广泛关注。本研究首次将Mamba应用于多类无监督异常检测，提出了MambaAD模型，该模型由预训练编码器和具有多尺度局部增强状态空间（LSS）模块的Mamba解码器组成。LSS模块通过并行级联的混合状态空间（HSS）块和多核卷积操作，有效捕捉长距离和局部信息。综合在六个不同的异常检测数据集上的实验结果表明，该方法具有最先进的性能，验证了其有效性。

🔬 方法详解

问题定义：本论文旨在解决多类无监督异常检测中的长距离依赖和计算复杂度问题。现有的CNN和变换器方法在这些方面存在明显的不足，导致检测效果不理想。

核心思路：MambaAD模型通过引入局部增强状态空间（LSS）模块，结合混合状态空间（HSS）块和多核卷积操作，旨在有效捕捉长距离和局部信息，从而提升异常检测的准确性和效率。

技术框架：MambaAD的整体架构包括一个预训练的编码器和一个Mamba解码器，解码器中集成了LSS模块，能够在多尺度上进行信息处理。LSS模块通过并行级联的HSS块和多核卷积，增强了特征提取的能力。

关键创新：本研究的主要创新在于将Mamba模型应用于多类无监督异常检测，并提出了LSS模块，该模块通过多种扫描方法和方向增强了特征序列建模能力，与传统方法相比，显著提升了性能。

关键设计：在模型设计中，HSS块采用混合扫描编码器，能够从五种扫描方法和八个方向对特征图进行编码，优化了全局连接。模型的参数设置和损失函数经过精心设计，以确保在多种数据集上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个不同的异常检测数据集上进行的实验表明，MambaAD在七个评估指标上均达到了最先进的性能，显著优于现有的基线方法，验证了其在多类无监督异常检测中的有效性和实用性。

🎯 应用场景

MambaAD模型在多类无监督异常检测领域具有广泛的应用潜力，尤其适用于工业监控、网络安全和医疗诊断等场景。其高效的异常检测能力能够帮助相关领域及时发现潜在问题，提升系统的安全性和可靠性。未来，该研究可能推动更多基于Mamba的模型在其他复杂任务中的应用。

📄 摘要（原文）

Recent advancements in anomaly detection have seen the efficacy of CNN- and transformer-based approaches. However, CNNs struggle with long-range dependencies, while transformers are burdened by quadratic computational complexity. Mamba-based models, with their superior long-range modeling and linear efficiency, have garnered substantial attention. This study pioneers the application of Mamba to multi-class unsupervised anomaly detection, presenting MambaAD, which consists of a pre-trained encoder and a Mamba decoder featuring (Locality-Enhanced State Space) LSS modules at multi-scales. The proposed LSS module, integrating parallel cascaded (Hybrid State Space) HSS blocks and multi-kernel convolutions operations, effectively captures both long-range and local information. The HSS block, utilizing (Hybrid Scanning) HS encoders, encodes feature maps into five scanning methods and eight directions, thereby strengthening global connections through the (State Space Model) SSM. The use of Hilbert scanning and eight directions significantly improves feature sequence modeling. Comprehensive experiments on six diverse anomaly detection datasets and seven metrics demonstrate state-of-the-art performance, substantiating the method's effectiveness. The code and models are available at https://lewandofskee.github.io/projects/MambaAD.