Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network

📄 arXiv: 2404.10940v1 📥 PDF

作者: Yusra Alkendi, Rana Azzam, Sajid Javed, Lakmal Seneviratne, Yahya Zweiri

分类: cs.CV

发布日期: 2024-04-16

💡 一句话要点

提出基于图变换神经网络的事件驱动运动分割算法

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动分割 神经形态视觉 图变换网络 动态物体检测 事件驱动算法 机器人导航 时空相关性

📋 核心要点

  1. 现有方法在处理动态背景变化和多物体运动时，往往无法有效分割移动物体与背景。
  2. 本文提出的GTNN算法通过将事件流视为3D图，利用图变换网络捕捉事件间的时空相关性，实现高效的运动分割。
  3. 实验结果显示，GTNN在多个公开数据集上超越了现有最先进的方法，显著提升了运动分割的准确性和检测率。

📝 摘要（中文）

移动物体分割对于在复杂环境中进行机器人导航至关重要。神经形态视觉传感器因其异步特性、高时间分辨率和低功耗而适合运动感知。然而，其非常规输出需要新的感知范式来利用其空间稀疏和时间密集的特性。本文提出了一种基于图变换神经网络（GTNN）的事件驱动运动分割算法，通过一系列非线性变换将事件流处理为3D图，以揭示事件之间的局部和全局时空相关性。该算法在多个公开数据集上进行训练，并引入动态物体掩膜感知事件标注（DOMEL）方法生成事件驱动运动分割数据集的近似真实标签。实验结果表明，GTNN在动态背景变化和多动态物体的情况下，运动分割准确率和检测率分别提高了9.4%和4.5%。

🔬 方法详解

问题定义：本文旨在解决移动物体分割中的动态背景变化和多物体运动带来的挑战。现有方法在处理这些复杂场景时，常常表现不佳，无法准确分割出移动物体与背景。

核心思路：论文的核心思路是将事件流视为3D图，通过图变换神经网络（GTNN）捕捉事件之间的局部和全局时空相关性，从而实现高效的运动分割。这样的设计能够充分利用神经形态视觉传感器的特性，处理其异步输出。

技术框架：GTNN的整体架构包括事件流的输入处理、3D图构建、非线性变换模块以及运动分割输出。首先，将事件流转换为图结构，然后通过图变换网络提取特征，最后进行运动分割。

关键创新：GTNN的主要创新在于其将事件流处理为3D图的方式，这与传统的基于帧的方法有本质区别，能够更好地捕捉时空信息。

关键设计：在训练过程中，采用了动态物体掩膜感知事件标注（DOMEL）方法生成近似真实标签，确保了训练数据的有效性。此外，网络结构设计上采用了多层图变换模块，以增强特征提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GTNN在多个未见的公开数据集上进行严格实验，结果显示其在动态背景变化和多动态物体的情况下，运动分割准确率（IoU%）平均提高了9.4%，检测率（DR%）提高了4.5%，显著优于现有最先进的方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机导航和智能监控等。通过提高运动分割的准确性，GTNN能够帮助机器人更好地理解动态环境，从而提升其自主导航和决策能力。未来，该技术有望在复杂场景下的实时处理和应用中发挥重要作用。

📄 摘要（原文）

Moving object segmentation is critical to interpret scene dynamics for robotic navigation systems in challenging environments. Neuromorphic vision sensors are tailored for motion perception due to their asynchronous nature, high temporal resolution, and reduced power consumption. However, their unconventional output requires novel perception paradigms to leverage their spatially sparse and temporally dense nature. In this work, we propose a novel event-based motion segmentation algorithm using a Graph Transformer Neural Network, dubbed GTNN. Our proposed algorithm processes event streams as 3D graphs by a series of nonlinear transformations to unveil local and global spatiotemporal correlations between events. Based on these correlations, events belonging to moving objects are segmented from the background without prior knowledge of the dynamic scene geometry. The algorithm is trained on publicly available datasets including MOD, EV-IMO, and \textcolor{black}{EV-IMO2} using the proposed training scheme to facilitate efficient training on extensive datasets. Moreover, we introduce the Dynamic Object Mask-aware Event Labeling (DOMEL) approach for generating approximate ground-truth labels for event-based motion segmentation datasets. We use DOMEL to label our own recorded Event dataset for Motion Segmentation (EMS-DOMEL), which we release to the public for further research and benchmarking. Rigorous experiments are conducted on several unseen publicly-available datasets where the results revealed that GTNN outperforms state-of-the-art methods in the presence of dynamic background variations, motion patterns, and multiple dynamic objects with varying sizes and velocities. GTNN achieves significant performance gains with an average increase of 9.4% and 4.5% in terms of motion segmentation accuracy (IoU%) and detection rate (DR%), respectively.