MambaMOS: LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model

📄 arXiv: 2404.12794v2 📥 PDF

作者: Kang Zeng, Hao Shi, Jiacheng Lin, Siyu Li, Jintao Cheng, Kaiwei Wang, Zhiyong Li, Kailun Yang

分类: cs.CV, cs.MM, cs.RO, eess.IV

发布日期: 2024-04-19 (更新: 2024-08-06)

备注: Accepted to ACM MM 2024. The source code is publicly available at https://github.com/Terminal-K/MambaMOS

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaMOS以解决LiDAR点云中动态物体分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态物体分割 LiDAR 时空信息耦合 状态空间模型 深度学习 自动驾驶 智能监控

📋 核心要点

  1. 现有的动态物体分割方法在时空信息耦合方面存在不足，导致动态物体的检测和分割效果不佳。
  2. 本文提出的MambaMOS通过时间线索引引嵌入和运动感知状态空间模型，增强了时空信息的耦合和动态物体的时间相关性理解。
  3. 在SemanticKITTI-MOS和KITTI-Road基准上，MambaMOS展示了优越的性能，达到了最先进的结果。

📝 摘要（中文）

基于LiDAR的动态物体分割（MOS）旨在利用先前扫描的运动信息定位和分割当前扫描中的动态物体。尽管现有MOS方法取得了一定的成果，但在时空信息的耦合方面仍存在不足。本文提出了一种新颖的LiDAR基于3D动态物体分割方法，称为MambaMOS。首先，开发了一种新的嵌入模块——时间线索引引嵌入（TCBE），以增强点云中时空信息的耦合，缓解被忽视的时间线索问题。其次，引入了运动感知状态空间模型（MSSM），使模型能够理解同一物体在不同时间步的时间相关性。最后，在SemanticKITTI-MOS和KITTI-Road基准上进行的广泛实验表明，MambaMOS达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决基于LiDAR的动态物体分割中的时空信息耦合不足的问题。现有方法往往忽略了时间线索，导致动态物体的检测和分割效果不理想。

核心思路：MambaMOS的核心思路是通过引入时间线索索引嵌入（TCBE）和运动感知状态空间模型（MSSM），增强点云中时空信息的耦合，提升动态物体的分割精度。

技术框架：MambaMOS的整体架构包括两个主要模块：TCBE用于增强时空信息的耦合，MSSM用于建模同一物体在不同时间步的运动状态。

关键创新：最重要的创新点在于TCBE和MSSM的结合，前者解决了时间线索被忽视的问题，后者则强调了同一物体在不同时间步的运动状态，从而显著提升了动态物体分割的效果。

关键设计：在模型设计中，TCBE模块通过特定的嵌入方式增强了时间信息的表达，而MSSM则通过改进的状态空间模型有效地建模了运动差异，确保了动态物体的准确分割。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SemanticKITTI-MOS和KITTI-Road基准上，MambaMOS实现了最先进的性能，具体表现为在动态物体分割任务中，相较于现有基线方法，性能提升幅度达到XX%（具体数据待补充），展现了其在实际应用中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人导航等场景。通过提高动态物体分割的精度，MambaMOS能够为这些领域提供更可靠的环境感知能力，进而提升系统的安全性和智能化水平。

📄 摘要（原文）

LiDAR-based Moving Object Segmentation (MOS) aims to locate and segment moving objects in point clouds of the current scan using motion information from previous scans. Despite the promising results achieved by previous MOS methods, several key issues, such as the weak coupling of temporal and spatial information, still need further study. In this paper, we propose a novel LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model, termed MambaMOS. Firstly, we develop a novel embedding module, the Time Clue Bootstrapping Embedding (TCBE), to enhance the coupling of temporal and spatial information in point clouds and alleviate the issue of overlooked temporal clues. Secondly, we introduce the Motion-aware State Space Model (MSSM) to endow the model with the capacity to understand the temporal correlations of the same object across different time steps. Specifically, MSSM emphasizes the motion states of the same object at different time steps through two distinct temporal modeling and correlation steps. We utilize an improved state space model to represent these motion differences, significantly modeling the motion states. Finally, extensive experiments on the SemanticKITTI-MOS and KITTI-Road benchmarks demonstrate that the proposed MambaMOS achieves state-of-the-art performance. The source code is publicly available at https://github.com/Terminal-K/MambaMOS.