RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features

📄 arXiv: 2403.01731v1 📥 PDF

作者: Howard H. Qian, Yangxiao Lu, Kejia Ren, Gaotian Wang, Ninad Khargonkar, Yu Xiang, Kaiyu Hang

分类: cs.CV, cs.RO

发布日期: 2024-03-04

备注: 7 pages, 5 figures, ICRA 2024

💡 一句话要点

提出RISeg以解决机器人交互下的物体分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 未见物体实例分割 机器人交互 物体识别 深度学习 计算机视觉

📋 核心要点

  1. 现有的未见物体实例分割方法在杂乱环境中表现不佳，导致分割结果不准确，尤其是出现欠分割现象。
  2. 本文提出通过机器人交互和身体框架不变特征来纠正静态图像分割掩膜的不准确性，利用相对速度信息进行物体识别。
  3. 实验结果表明，所提交互感知管道在杂乱场景中的物体分割准确率达到80.7%，较其他方法提升28.2%。

📝 摘要（中文）

为了在新环境中成功执行操作任务，机器人必须能够从背景和其他物体中准确分割出未见物体。现有的未见物体实例分割方法依赖于深度神经网络在大规模数据上训练RGB/RGB-D特征嵌入，但在杂乱环境中常导致分割不准确。本文提出了一种新方法，通过机器人交互和设计的身体框架不变特征来纠正静态图像基础的未见物体实例分割掩膜中的不准确分割。我们展示了通过引入运动来改善分割不确定性区域的准确性，最终在杂乱场景中实现了80.7%的平均物体分割准确率，相较于其他最先进的UOIS方法提高了28.2%。

🔬 方法详解

问题定义：本文旨在解决机器人在杂乱环境中进行未见物体实例分割时的准确性问题，现有方法在处理复杂背景时容易出现欠分割现象。

核心思路：通过引入机器人与环境的交互，利用身体框架不变特征来改善分割掩膜的准确性，特别是在不确定性区域。

技术框架：整体架构包括数据采集、特征提取、交互过程和分割掩膜修正四个主要模块。机器人通过与物体的交互获取运动信息，从而增强分割结果。

关键创新：最重要的创新在于利用机器人交互产生的相对线性和旋转速度来识别物体并修正分割掩膜，这一方法在现有UOIS方法中尚属首次。

关键设计：在参数设置上，采用了少量的非干扰性交互（约2-3次）来引入运动信息，损失函数设计上注重分割精度与交互信息的结合，网络结构则基于现有的深度学习框架进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在杂乱场景中的物体分割准确率达到80.7%，相比于其他最先进的UOIS方法提升了28.2%，证明了交互感知管道的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动化仓库、智能家居等场景，能够显著提升机器人在复杂环境中的物体识别和操作能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In order to successfully perform manipulation tasks in new environments, such as grasping, robots must be proficient in segmenting unseen objects from the background and/or other objects. Previous works perform unseen object instance segmentation (UOIS) by training deep neural networks on large-scale data to learn RGB/RGB-D feature embeddings, where cluttered environments often result in inaccurate segmentations. We build upon these methods and introduce a novel approach to correct inaccurate segmentation, such as under-segmentation, of static image-based UOIS masks by using robot interaction and a designed body frame-invariant feature. We demonstrate that the relative linear and rotational velocities of frames randomly attached to rigid bodies due to robot interactions can be used to identify objects and accumulate corrected object-level segmentation masks. By introducing motion to regions of segmentation uncertainty, we are able to drastically improve segmentation accuracy in an uncertainty-driven manner with minimal, non-disruptive interactions (ca. 2-3 per scene). We demonstrate the effectiveness of our proposed interactive perception pipeline in accurately segmenting cluttered scenes by achieving an average object segmentation accuracy rate of 80.7%, an increase of 28.2% when compared with other state-of-the-art UOIS methods.