Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation for Complex Scenes
作者: Stamatios Georgoulis, Weining Ren, Alfredo Bochicchio, Daniel Eckert, Yuanyou Li, Abel Gawel
分类: cs.CV
发布日期: 2024-03-07
备注: 3DV 2024, the first two authors contributed equally
💡 一句话要点
提出一种事件驱动的方法以解决复杂场景中的动态运动分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 动态运动分割 事件相机 无类别分割 光流计算 变换器 复杂场景 自动驾驶 机器人导航
📋 核心要点
- 现有RGB相机方法在复杂场景中动态运动分割面临建模不足和未知类别的挑战。
- 本文提出了一种事件驱动的分治管道，结合自我运动补偿事件和光流，进行无类别运动分割。
- 在经典的EV-IMO基准上，本文方法在移动物体IoU上提升了2.19，且在新生成的DSEC-MOTS基准上提升了12.91。
📝 摘要（中文）
快速可靠地识别动态场景部分，即运动分割，是移动传感器面临的关键挑战。现有基于RGB相机的方法依赖于建模相机和场景属性，但在未知类别中往往受到限制。事件相机有潜力克服这些限制，但相关方法仅在小规模室内环境中展示。本文提出了一种事件驱动的无类别运动分割方法，能够成功应用于复杂的大规模户外环境。我们引入了一种新颖的分治管道，结合了通过场景理解模块计算的自我运动补偿事件和专用光流模块的光流。这些中间表示被输入到分割模块中，以预测运动分割掩码。分割模块中的新型基于变换器的时间注意模块建立了相邻“帧”之间的关联，以获得时间一致的分割掩码。
🔬 方法详解
问题定义：本文旨在解决复杂场景中的动态运动分割问题，现有基于RGB相机的方法在面对未知类别时常常表现不佳，且对场景的建模能力有限。
核心思路：论文提出了一种事件驱动的无类别运动分割方法，通过分治策略结合自我运动补偿和光流计算，以提高在复杂环境中的分割效果。
技术框架：整体架构包括三个主要模块：首先是场景理解模块，负责预测单目深度和相机姿态以计算自我运动补偿事件；其次是光流模块，计算光流信息；最后是分割模块，利用这些中间表示生成运动分割掩码。
关键创新：最重要的技术创新在于引入了基于变换器的时间注意模块，该模块能够在时间维度上建立相邻帧之间的关联，从而实现时间一致的分割效果，这是现有方法所缺乏的。
关键设计：在设计中，使用了特定的损失函数来优化分割效果，并在网络结构中引入了变换器以增强时间信息的捕捉能力，确保了模型在复杂场景中的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在经典的EV-IMO基准上实现了2.19的移动物体IoU提升，达到2.22的mIoU，并在新生成的DSEC-MOTS基准上提升了12.91的移动物体IoU，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升动态物体识别与跟踪的准确性，具有重要的实际价值和未来影响。通过在复杂环境中的应用，能够推动相关技术的进步与普及。
📄 摘要（原文）
Rapid and reliable identification of dynamic scene parts, also known as motion segmentation, is a key challenge for mobile sensors. Contemporary RGB camera-based methods rely on modeling camera and scene properties however, are often under-constrained and fall short in unknown categories. Event cameras have the potential to overcome these limitations, but corresponding methods have only been demonstrated in smaller-scale indoor environments with simplified dynamic objects. This work presents an event-based method for class-agnostic motion segmentation that can successfully be deployed across complex large-scale outdoor environments too. To this end, we introduce a novel divide-and-conquer pipeline that combines: (a) ego-motion compensated events, computed via a scene understanding module that predicts monocular depth and camera pose as auxiliary tasks, and (b) optical flow from a dedicated optical flow module. These intermediate representations are then fed into a segmentation module that predicts motion segmentation masks. A novel transformer-based temporal attention module in the segmentation module builds correlations across adjacent 'frames' to get temporally consistent segmentation masks. Our method sets the new state-of-the-art on the classic EV-IMO benchmark (indoors), where we achieve improvements of 2.19 moving object IoU (2.22 mIoU) and 4.52 point IoU respectively, as well as on a newly-generated motion segmentation and tracking benchmark (outdoors) based on the DSEC event dataset, termed DSEC-MOTS, where we show improvement of 12.91 moving object IoU.