SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation

📄 arXiv: 2311.15707v2 📥 PDF

作者: Jiehong Lin, Lihua Liu, Dekun Lu, Kui Jia

分类: cs.CV

发布日期: 2023-11-27 (更新: 2024-03-06)

备注: Accepted by CVPR2024. Github Page: https://github.com/JiehongLin/SAM-6D

💡 一句话要点

提出SAM-6D以解决零-shot 6D物体姿态估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 6D姿态估计 实例分割 计算机视觉 深度学习 物体检测 机器人技术

📋 核心要点

  1. 现有的零-shot 6D物体姿态估计方法在处理新物体时面临泛化能力不足的挑战，尤其是在复杂场景中。
  2. 论文提出的SAM-6D框架通过实例分割和姿态估计两个步骤，利用SAM的零-shot迁移能力来解决这一问题。
  3. 实验结果表明，SAM-6D在BOP基准的七个核心数据集上，在实例分割和姿态估计方面均优于现有方法。

📝 摘要（中文）

零-shot 6D物体姿态估计涉及在杂乱场景中检测新物体及其6D姿态，这对模型的泛化能力提出了重大挑战。幸运的是，最近的Segment Anything Model（SAM）展示了卓越的零-shot迁移性能，为解决这一任务提供了有希望的方案。基于此，我们提出了SAM-6D，一个通过实例分割和姿态估计两个步骤来实现该任务的新框架。SAM-6D使用两个专门的子网络，实例分割模型（ISM）和姿态估计模型（PEM），在杂乱的RGB-D图像上执行这些步骤。ISM以SAM为基础生成所有可能的物体提议，并通过精心设计的语义、外观和几何匹配分数选择有效的提议。PEM将姿态估计视为部分到部分的点匹配问题，采用两阶段点匹配过程，利用背景标记构建稠密的3D-3D对应关系，最终得出姿态估计结果。SAM-6D在BOP基准的七个核心数据集上，在新物体的实例分割和姿态估计方面超越了现有方法。

🔬 方法详解

问题定义：论文旨在解决零-shot 6D物体姿态估计问题，现有方法在新物体的检测和姿态估计上存在泛化能力不足的痛点。

核心思路：SAM-6D通过实例分割和姿态估计两个步骤，利用SAM的强大零-shot迁移能力，提升模型在复杂场景中的表现。

技术框架：SAM-6D整体架构包括两个主要模块：实例分割模型（ISM）和姿态估计模型（PEM）。ISM负责生成物体提议并筛选有效提议，PEM则进行姿态估计。

关键创新：SAM-6D的核心创新在于将姿态估计视为部分到部分的点匹配问题，并引入背景标记以构建稠密的3D-3D对应关系，这一设计与现有方法有本质区别。

关键设计：ISM通过语义、外观和几何匹配分数来选择有效的物体提议，PEM采用两阶段点匹配过程，确保姿态估计的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAM-6D在BOP基准的七个核心数据集上，实例分割和姿态估计的性能均显著优于现有方法，具体提升幅度达到XX%（具体数据未知），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、增强现实和自动驾驶等，能够在复杂环境中实现对新物体的高效识别和定位，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Zero-shot 6D object pose estimation involves the detection of novel objects with their 6D poses in cluttered scenes, presenting significant challenges for model generalizability. Fortunately, the recent Segment Anything Model (SAM) has showcased remarkable zero-shot transfer performance, which provides a promising solution to tackle this task. Motivated by this, we introduce SAM-6D, a novel framework designed to realize the task through two steps, including instance segmentation and pose estimation. Given the target objects, SAM-6D employs two dedicated sub-networks, namely Instance Segmentation Model (ISM) and Pose Estimation Model (PEM), to perform these steps on cluttered RGB-D images. ISM takes SAM as an advanced starting point to generate all possible object proposals and selectively preserves valid ones through meticulously crafted object matching scores in terms of semantics, appearance and geometry. By treating pose estimation as a partial-to-partial point matching problem, PEM performs a two-stage point matching process featuring a novel design of background tokens to construct dense 3D-3D correspondence, ultimately yielding the pose estimates. Without bells and whistles, SAM-6D outperforms the existing methods on the seven core datasets of the BOP Benchmark for both instance segmentation and pose estimation of novel objects.