Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model

📄 arXiv: 2404.14966v2 📥 PDF

作者: Xu Han, Yuan Tang, Zhaoxuan Wang, Xianzhi Li

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-04-23 (更新: 2024-09-02)

备注: ACM MM 2024. Code and weights are available at https://github.com/xhanxu/Mamba3D

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mamba3D以解决点云分析中的特征提取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云分析 状态空间模型 局部特征提取 深度学习 Transformer 高效算法 机器学习

📋 核心要点

  1. 现有Transformer模型在点云分析中面临二次复杂度，导致性能下降和信息损失。
  2. Mamba3D通过状态空间模型（SSM）设计，结合局部归一化池化（LNP）和双向SSM，提升局部和全局特征提取能力。
  3. 实验结果表明，Mamba3D在多个任务中超越了现有模型，尤其在ScanObjectNN和ModelNet40任务中表现出色。

📝 摘要（中文）

现有基于Transformer的点云分析模型存在二次复杂度的问题，导致点云分辨率下降和信息损失。Mamba3D是基于状态空间模型（SSM）提出的新模型，旨在提升局部特征提取能力，具有线性复杂度。通过引入局部归一化池化（LNP）模块和双向SSM（bi-SSM），Mamba3D在多个任务中超越了Transformer及其同类模型，展现出卓越的性能和高效性。实验结果显示，Mamba3D在ScanObjectNN和ModelNet40分类任务中分别达到了92.6%和95.1%的准确率，且具有良好的可扩展性。

🔬 方法详解

问题定义：本论文旨在解决现有基于Transformer的点云分析模型在处理高分辨率点云时的二次复杂度问题，导致信息损失和性能下降。

核心思路：Mamba3D通过引入状态空间模型（SSM）来实现线性复杂度的特征提取，特别设计了局部归一化池化（LNP）模块以增强局部几何特征的提取能力，同时采用双向SSM来优化全局特征的获取。

技术框架：Mamba3D的整体架构包括局部特征提取模块（LNP）和双向SSM模块，前者负责提取局部几何特征，后者则通过正向和反向处理来增强全局特征的表达。

关键创新：Mamba3D的主要创新在于结合了局部归一化池化和双向SSM，使得模型在保持线性复杂度的同时，显著提升了特征提取的效果，区别于传统的Transformer模型。

关键设计：在设计中，LNP模块通过简单有效的方式提取局部特征，而双向SSM则通过同时处理特征通道的正向和反向信息，进一步提高了特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mamba3D在多个任务中表现出色，尤其在ScanObjectNN任务中达到了92.6%的准确率，在ModelNet40分类任务中达到了95.1%的准确率，均超越了现有的Transformer模型和其他同类研究，展示了显著的性能提升。

🎯 应用场景

Mamba3D在3D点云分析领域具有广泛的应用潜力，尤其适用于自动驾驶、机器人视觉和增强现实等场景。其高效的特征提取能力和线性复杂度使得在实时处理和大规模数据分析中具有重要的实际价值，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Existing Transformer-based models for point cloud analysis suffer from quadratic complexity, leading to compromised point cloud resolution and information loss. In contrast, the newly proposed Mamba model, based on state space models (SSM), outperforms Transformer in multiple areas with only linear complexity. However, the straightforward adoption of Mamba does not achieve satisfactory performance on point cloud tasks. In this work, we present Mamba3D, a state space model tailored for point cloud learning to enhance local feature extraction, achieving superior performance, high efficiency, and scalability potential. Specifically, we propose a simple yet effective Local Norm Pooling (LNP) block to extract local geometric features. Additionally, to obtain better global features, we introduce a bidirectional SSM (bi-SSM) with both a token forward SSM and a novel backward SSM that operates on the feature channel. Extensive experimental results show that Mamba3D surpasses Transformer-based counterparts and concurrent works in multiple tasks, with or without pre-training. Notably, Mamba3D achieves multiple SoTA, including an overall accuracy of 92.6% (train from scratch) on the ScanObjectNN and 95.1% (with single-modal pre-training) on the ModelNet40 classification task, with only linear complexity. Our code and weights are available at https://github.com/xhanxu/Mamba3D.