MARVIS: Motion & Geometry Aware Real and Virtual Image Segmentation

📄 arXiv: 2403.09850v2 📥 PDF

作者: Jiayi Wu, Xiaomin Lin, Shahriar Negahdaripour, Cornelia Fermüller, Yiannis Aloimonos

分类: cs.CV, cs.RO

发布日期: 2024-03-14 (更新: 2024-10-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MARVIS以解决水面图像分割中的真实与虚拟区域识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图像分割 海洋机器人 虚拟图像 运动熵核 极几何一致性 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在动态水面环境中难以有效区分真实与虚拟图像区域，导致感知和导航系统的潜在失败。
  2. 本文提出MARVIS网络，通过合成图像与领域不变信息相结合，利用运动熵核和极几何一致性进行图像分割。
  3. 实验结果显示，MARVIS在未见过的真实世界领域中实现了超过78%的IoU和86%的F1分数，推理速度超过43 FPS。

📝 摘要（中文）

在海洋机器人应用中，自主导航、三维重建和物体识别等任务至关重要。然而，由于光线反射和折射等动态干扰，传统计算机视觉算法在区分真实与虚拟图像区域时面临挑战。本文提出了一种新颖的分割方法，结合合成图像、运动熵核和极几何一致性，能够在不同领域（如仿真和现实世界）中有效识别真实与虚拟图像。通过创建逼真的合成图像，MARVIS网络在未见过的真实世界领域中实现了超过78%的IoU和86%的F1分数，同时保持较小的计算开销，提供了超过43 FPS的推理速度。

🔬 方法详解

问题定义：本文旨在解决在动态水面环境中，传统计算机视觉算法难以有效区分真实与虚拟图像区域的问题。现有方法在光线反射和折射等干扰下，导致感知和导航系统的失败。

核心思路：论文提出了一种新颖的图像分割方法，结合合成图像和领域不变信息，利用运动熵核和极几何一致性来提高分割精度。这种设计使得网络在领域变化时无需重新训练。

技术框架：MARVIS网络的整体架构包括合成图像生成模块、运动熵核模块和极几何一致性模块。通过这些模块的协同工作，网络能够有效识别真实与虚拟图像区域。

关键创新：最重要的技术创新在于引入运动熵核和极几何一致性，使得网络能够在不同领域中保持高效的分割性能。这与传统方法的依赖于特定领域的训练方式形成鲜明对比。

关键设计：在网络结构上，MARVIS采用了特定的损失函数来优化分割效果，并通过精细调整参数设置，确保在不同计算平台上（如GPU和CPU）都能实现高效推理。具体的网络层次和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MARVIS在未见过的真实世界领域中实现了超过78%的IoU和86%的F1分数，显著优于传统方法。同时，网络在单个GPU上提供超过43 FPS的推理速度，表现出良好的实时处理能力。

🎯 应用场景

MARVIS的研究成果在海洋机器人、无人驾驶船舶、环境监测等领域具有广泛的应用潜力。通过提高水面图像的分割精度，能够显著提升这些系统的自主导航和物体识别能力，进而推动相关技术的发展与应用。

📄 摘要（原文）

Tasks such as autonomous navigation, 3D reconstruction, and object recognition near the water surfaces are crucial in marine robotics applications. However, challenges arise due to dynamic disturbances, e.g., light reflections and refraction from the random air-water interface, irregular liquid flow, and similar factors, which can lead to potential failures in perception and navigation systems. Traditional computer vision algorithms struggle to differentiate between real and virtual image regions, significantly complicating tasks. A virtual image region is an apparent representation formed by the redirection of light rays, typically through reflection or refraction, creating the illusion of an object's presence without its actual physical location. This work proposes a novel approach for segmentation on real and virtual image regions, exploiting synthetic images combined with domain-invariant information, a Motion Entropy Kernel, and Epipolar Geometric Consistency. Our segmentation network does not need to be re-trained if the domain changes. We show this by deploying the same segmentation network in two different domains: simulation and the real world. By creating realistic synthetic images that mimic the complexities of the water surface, we provide fine-grained training data for our network (MARVIS) to discern between real and virtual images effectively. By motion & geometry-aware design choices and through comprehensive experimental analysis, we achieve state-of-the-art real-virtual image segmentation performance in unseen real world domain, achieving an IoU over 78% and a F1-Score over 86% while ensuring a small computational footprint. MARVIS offers over 43 FPS (8 FPS) inference rates on a single GPU (CPU core). Our code and dataset are available here https://github.com/jiayi-wu-umd/MARVIS.