Real-time 3D Semantic Scene Perception for Egocentric Robots with Binocular Vision

📄 arXiv: 2402.11872v1 📥 PDF

作者: K. Nguyen, T. Dang, M. Huber

分类: cs.RO

发布日期: 2024-02-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出实时3D语义场景感知方法以解决自我中心机器人识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D语义分割 实例分割 点云配准 自我中心机器人 双目视觉 核密度估计 动态环境 机器人操作

📋 核心要点

  1. 现有方法在动态环境中进行3D场景感知时，常常面临物体遮挡和视角变化带来的挑战，导致识别精度不足。
  2. 本文提出了一种集成实例分割、特征匹配和点云配准的端到端处理管道，旨在提高自我中心机器人的3D场景理解能力。
  3. 实验结果表明，所提出的方法能够有效分割物体、注册多个视图，并在抓取任务中表现出色，提升了机器人的操作能力。

📝 摘要（中文）

在室内移动时，感知三维场景中的多个物体对基于视觉的移动协作机器人至关重要，尤其是在增强其操作任务方面。本文提出了一种端到端的管道，结合实例分割、特征匹配和点集配准，专为配备双目视觉的自我中心机器人设计。首先，设计了一种基于RGB图像的单视图3D语义场景分割方法，通过深度图将2D数据集中常见物体类别的3D点封装为物体实例的点云。接着，基于前一步RGB图像中感兴趣物体的匹配关键点提取两个连续分割点云的3D对应关系。此外，为了感知3D特征分布的空间变化，采用核密度估计(KDE)对每对3D点进行加权，从而在求解点云之间的刚性变换时提高鲁棒性。最后，在配备Intel RealSense D435i RGB-D相机的7自由度双臂Baxter机器人上测试了该管道，结果表明机器人能够分割感兴趣物体、在移动时注册多个视图并抓取目标物体。

🔬 方法详解

问题定义：本文旨在解决自我中心机器人在动态室内环境中进行3D场景感知时的物体识别和抓取问题。现有方法在处理遮挡和视角变化时表现不佳，导致识别精度和鲁棒性不足。

核心思路：论文提出的核心思路是通过结合RGB图像的实例分割与点云配准技术，利用深度信息增强3D场景的理解能力，从而提高机器人在复杂环境中的操作性能。

技术框架：整体架构包括三个主要模块：首先是基于RGB图像的实例分割，接着是特征匹配以提取3D对应关系，最后是点云的刚性变换配准。每个模块相互配合，形成一个完整的感知管道。

关键创新：最重要的技术创新在于引入核密度估计(KDE)对3D点对进行加权，从而提高了在求解刚性变换时的鲁棒性，尤其是在处理少量中心对应关系时。

关键设计：在参数设置上，采用了适应性阈值来优化特征匹配的精度，并使用特定的损失函数来增强实例分割的效果，确保了最终点云配准的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的管道在物体分割和视图注册方面表现优异，机器人能够在移动过程中准确识别和抓取目标物体，整体性能较基线方法提升显著，具体数据未提供。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在智能制造、服务机器人和家庭自动化等领域。通过提升机器人对复杂环境的理解能力，可以显著改善其在物体抓取和操作任务中的表现，推动机器人技术的实际应用和发展。

📄 摘要（原文）

Perceiving a three-dimensional (3D) scene with multiple objects while moving indoors is essential for vision-based mobile cobots, especially for enhancing their manipulation tasks. In this work, we present an end-to-end pipeline with instance segmentation, feature matching, and point-set registration for egocentric robots with binocular vision, and demonstrate the robot's grasping capability through the proposed pipeline. First, we design an RGB image-based segmentation approach for single-view 3D semantic scene segmentation, leveraging common object classes in 2D datasets to encapsulate 3D points into point clouds of object instances through corresponding depth maps. Next, 3D correspondences of two consecutive segmented point clouds are extracted based on matched keypoints between objects of interest in RGB images from the prior step. In addition, to be aware of spatial changes in 3D feature distribution, we also weigh each 3D point pair based on the estimated distribution using kernel density estimation (KDE), which subsequently gives robustness with less central correspondences while solving for rigid transformations between point clouds. Finally, we test our proposed pipeline on the 7-DOF dual-arm Baxter robot with a mounted Intel RealSense D435i RGB-D camera. The result shows that our robot can segment objects of interest, register multiple views while moving, and grasp the target object. The source code is available at https://github.com/mkhangg/semantic_scene_perception.