FoundPose: Unseen Object Pose Estimation with Foundation Features
作者: Evin Pınar Örnek, Yann Labbé, Bugra Tekin, Lingni Ma, Cem Keskin, Christian Forster, Tomas Hodan
分类: cs.CV, cs.RO
发布日期: 2023-11-30 (更新: 2024-07-19)
💡 一句话要点
提出FoundPose以解决未知物体姿态估计问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 6D姿态估计 未知物体 DINOv2 补丁描述符 自监督学习 模板检索 特征对齐
📋 核心要点
- 现有方法通常需要在特定任务上进行大规模预训练，导致对未知物体的姿态估计能力有限。
- 我们提出的FoundPose方法通过利用DINOv2模型的补丁描述符，快速实现未知物体的6D姿态估计，无需特定训练。
- 在标准BOP基准测试中，FoundPose显著优于现有RGB方法，并可与现有的渲染与比较方法结合，达到最先进的结果。
📝 摘要（中文）
我们提出了FoundPose，一种基于模型的方法，用于从单张RGB图像中估计未知物体的6D姿态。该方法能够快速引入新物体的3D模型，而无需进行特定于物体或任务的训练。与现有方法通常依赖于大规模、特定任务的数据集进行预训练以实现新物体的泛化不同，我们的方法展示了在自监督训练的视觉基础模型中也能观察到这种泛化能力。具体而言，我们的方法通过匹配DINOv2模型中的补丁描述符，建立图像与预渲染物体模板之间的2D-3D对应关系，从而估计物体姿态。我们发现，通过kNN匹配中间DINOv2层的补丁描述符，可以建立可靠的对应关系，这些描述符在语义信息模糊时提供了更强的位置信息。
🔬 方法详解
问题定义：本论文旨在解决从单张RGB图像中估计未知物体的6D姿态这一具体问题。现有方法通常依赖于特定任务的预训练，限制了其对新物体的泛化能力。
核心思路：我们的方法FoundPose利用DINOv2模型的补丁描述符，通过建立图像与3D模型之间的2D-3D对应关系，实现快速的姿态估计。该设计避免了对特定物体的训练，提升了模型的灵活性和适应性。
技术框架：整体架构包括图像输入、补丁描述符提取、kNN匹配、模板检索和特征度量对齐等模块。首先，从输入图像中提取补丁描述符，然后通过kNN匹配找到与预渲染模板的对应关系，最后进行特征对齐以提高估计精度。
关键创新：最重要的技术创新在于利用DINOv2中间层的补丁描述符进行kNN匹配，这些描述符提供了比最后一层更强的位置信息，尤其在物体对称性或纹理缺失时表现出色。
关键设计：在模板检索中，我们将补丁描述符整合进词袋表示，以高效地提取相似模板。此外，采用特征度量对齐来补偿由于粗糙补丁采样引起的2D-3D对应关系的差异。
🖼️ 关键图片
📊 实验亮点
在标准BOP基准测试中，FoundPose在七个不同数据集上显著优于现有的RGB方法，且在无需精细调整的情况下实现了最先进的姿态估计结果。具体性能提升幅度未知，但实验结果表明其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、增强现实和自动驾驶等场景。在这些领域中，快速而准确的物体姿态估计能够显著提升系统的智能化水平和交互能力，推动相关技术的发展与应用。
📄 摘要（原文）
We propose FoundPose, a model-based method for 6D pose estimation of unseen objects from a single RGB image. The method can quickly onboard new objects using their 3D models without requiring any object- or task-specific training. In contrast, existing methods typically pre-train on large-scale, task-specific datasets in order to generalize to new objects and to bridge the image-to-model domain gap. We demonstrate that such generalization capabilities can be observed in a recent vision foundation model trained in a self-supervised manner. Specifically, our method estimates the object pose from image-to-model 2D-3D correspondences, which are established by matching patch descriptors from the recent DINOv2 model between the image and pre-rendered object templates. We find that reliable correspondences can be established by kNN matching of patch descriptors from an intermediate DINOv2 layer. Such descriptors carry stronger positional information than descriptors from the last layer, and we show their importance when semantic information is ambiguous due to object symmetries or a lack of texture. To avoid establishing correspondences against all object templates, we develop an efficient template retrieval approach that integrates the patch descriptors into the bag-of-words representation and can promptly propose a handful of similarly looking templates. Additionally, we apply featuremetric alignment to compensate for discrepancies in the 2D-3D correspondences caused by coarse patch sampling. The resulting method noticeably outperforms existing RGB methods for refinement-free pose estimation on the standard BOP benchmark with seven diverse datasets and can be seamlessly combined with an existing render-and-compare refinement method to achieve RGB-only state-of-the-art results. Project page: evinpinar.github.io/foundpose.