SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation In Bin-picking Scenarios

📄 arXiv: 2403.09317v1 📥 PDF

作者: Ding-Tao Huang, En-Te Lin, Lipeng Chen, Li-Fu Liu, Long Zeng

分类: cs.CV, cs.AI

发布日期: 2024-03-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出SD-Net以解决对称物体在6D姿态估计中的挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 对称物体 领域适应 关键点预测 自我训练 机器人抓取 深度学习

📋 核心要点

  1. 现有的6D姿态估计方法在处理对称物体和真实场景时存在关键点歧义和领域差距等挑战。
  2. 本文提出的SD-Net通过对称感知的关键点预测和自我训练的领域适应来解决上述问题。
  3. 在Sil'eane数据集上，SD-Net实现了96%的平均精度，并在参数化数据集上超越了现有最优方法8%。

📝 摘要（中文）

尽管在箱内抓取场景中的6D姿态估计取得了一定成功，现有方法仍然难以对称物体和真实场景进行准确预测。主要瓶颈包括物体对称性导致的关键点歧义和真实与合成数据之间的领域差距。为了解决这些问题，本文提出了一种新的6D姿态估计网络SD-Net，结合了对称感知的关键点预测和自我训练的领域适应。SD-Net在关键点预测阶段设计了一种考虑物体对称类和等效关键点的3D关键点选择策略，并在领域适应阶段采用了基于半切弗距离的3D几何伪标记的自我训练框架。在公共Sil'eane数据集上，SD-Net达到了96%的平均精度，且在公共参数化数据集上，SD-Net的学习和泛化能力比现有最优方法高出8%。

🔬 方法详解

问题定义：本文旨在解决在箱内抓取场景中对称物体的6D姿态估计问题。现有方法在处理对称物体时，常常面临关键点歧义和真实与合成数据之间的领域差距，导致预测不准确。

核心思路：SD-Net通过引入对称感知的关键点选择策略和自我训练的领域适应框架，旨在提高对称物体的关键点预测准确性，并减少领域间的差异。这样的设计使得网络能够在复杂和遮挡的场景中更可靠地定位关键点。

技术框架：SD-Net的整体架构包括两个主要阶段：关键点预测和领域适应。在关键点预测阶段，采用点对点的关键点回归和深度霍夫投票方法；在领域适应阶段，使用学生-教师训练方案进行自我训练。

关键创新：SD-Net的主要创新在于其对称感知的关键点选择策略和基于半切弗距离的伪标记方法。这些创新使得网络能够有效地处理对称物体的关键点歧义，并在领域适应中提高了预测的可靠性。

关键设计：在关键点选择中，考虑了物体的对称性和等效关键点，设计了一种动态过滤算法来消除多重歧义和异常关键点候选。此外，损失函数和网络结构经过精心设计，以确保在复杂场景中的高效学习和准确预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SD-Net在公共Sil'eane数据集上取得了96%的平均精度，显示出其在6D姿态估计中的卓越性能。此外，在公共参数化数据集上，SD-Net的表现比现有最优方法提高了8%，进一步验证了其学习和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化装配和智能制造等。通过提高对称物体的姿态估计精度，SD-Net能够显著提升机器人在复杂环境中的操作能力，推动智能制造的自动化进程。未来，该技术可能在更多实际应用中发挥重要作用，尤其是在需要高精度物体识别和定位的场景中。

📄 摘要（原文）

Despite the success in 6D pose estimation in bin-picking scenarios, existing methods still struggle to produce accurate prediction results for symmetry objects and real world scenarios. The primary bottlenecks include 1) the ambiguity keypoints caused by object symmetries; 2) the domain gap between real and synthetic data. To circumvent these problem, we propose a new 6D pose estimation network with symmetric-aware keypoint prediction and self-training domain adaptation (SD-Net). SD-Net builds on pointwise keypoint regression and deep hough voting to perform reliable detection keypoint under clutter and occlusion. Specifically, at the keypoint prediction stage, we designe a robust 3D keypoints selection strategy considering the symmetry class of objects and equivalent keypoints, which facilitate locating 3D keypoints even in highly occluded scenes. Additionally, we build an effective filtering algorithm on predicted keypoint to dynamically eliminate multiple ambiguity and outlier keypoint candidates. At the domain adaptation stage, we propose the self-training framework using a student-teacher training scheme. To carefully distinguish reliable predictions, we harnesses a tailored heuristics for 3D geometry pseudo labelling based on semi-chamfer distance. On public Sil'eane dataset, SD-Net achieves state-of-the-art results, obtaining an average precision of 96%. Testing learning and generalization abilities on public Parametric datasets, SD-Net is 8% higher than the state-of-the-art method. The code is available at https://github.com/dingthuang/SD-Net.