GenFlow: Generalizable Recurrent Flow for 6D Pose Refinement of Novel Objects

📄 arXiv: 2403.11510v1 📥 PDF

作者: Sungphill Moon, Hyeontae Son, Dongcheol Hur, Sangwook Kim

分类: cs.CV

发布日期: 2024-03-18

💡 一句话要点

提出GenFlow以解决新物体6D姿态估计的准确性与可扩展性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 光流预测 级联网络 多尺度特征 新物体识别

📋 核心要点

  1. 现有方法在新物体的6D姿态估计中，准确性与可扩展性之间存在权衡，且未能有效利用3D形状信息。
  2. GenFlow通过预测光流并迭代优化姿态，结合目标物体的3D形状信息，提升了新物体的姿态估计性能。
  3. GenFlow在RGB和RGB-D的未见物体姿态估计基准测试中表现优异，并在已见物体的估计中与最先进方法相当。

📝 摘要（中文）

尽管基于学习的方法在6D物体姿态估计方面取得了进展，但在新物体的准确性与可扩展性之间仍然存在权衡。以往的方法未能充分利用目标物体的3D形状信息，导致效果不佳。本文提出GenFlow，一种通过目标物体形状指导实现准确性与可扩展性的方案。该方法预测渲染图像与观察图像之间的光流，并迭代优化6D姿态。通过3D形状约束和从端到端可微分系统中学习的可泛化几何知识，提升了性能。此外，设计级联网络架构以利用多尺度相关性和粗到细的优化。GenFlow在未见物体姿态估计基准测试中排名第一，并在已见物体姿态估计中表现出与现有最先进方法相当的性能，无需微调。

🔬 方法详解

问题定义：本文旨在解决新物体的6D姿态估计问题，现有方法在准确性和可扩展性方面存在不足，且未能充分利用目标物体的3D形状信息。

核心思路：GenFlow通过引入目标物体的3D形状信息，预测渲染图像与观察图像之间的光流，迭代优化6D姿态，从而实现准确性与可扩展性的平衡。

技术框架：整体架构包括光流预测模块和姿态优化模块，采用级联网络架构以处理多尺度信息，进行粗到细的姿态优化。

关键创新：最重要的创新在于将3D形状约束与可泛化几何知识结合，形成一个端到端可微分的系统，显著提升了新物体的姿态估计性能。

关键设计：在网络结构上，设计了级联网络以捕捉多尺度特征，损失函数则结合了光流预测误差和姿态优化误差，以确保模型的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GenFlow在未见物体姿态估计基准测试中排名第一，显示出在RGB和RGB-D场景下的卓越性能。此外，该方法在已见物体姿态估计中与现有最先进方法表现相当，且无需进行微调，展示了其强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、增强现实和自动驾驶等场景，能够提高这些领域中对新物体的识别与操作能力。未来，GenFlow有望在更广泛的物体识别与交互任务中发挥重要作用，推动智能系统的普及与应用。

📄 摘要（原文）

Despite the progress of learning-based methods for 6D object pose estimation, the trade-off between accuracy and scalability for novel objects still exists. Specifically, previous methods for novel objects do not make good use of the target object's 3D shape information since they focus on generalization by processing the shape indirectly, making them less effective. We present GenFlow, an approach that enables both accuracy and generalization to novel objects with the guidance of the target object's shape. Our method predicts optical flow between the rendered image and the observed image and refines the 6D pose iteratively. It boosts the performance by a constraint of the 3D shape and the generalizable geometric knowledge learned from an end-to-end differentiable system. We further improve our model by designing a cascade network architecture to exploit the multi-scale correlations and coarse-to-fine refinement. GenFlow ranked first on the unseen object pose estimation benchmarks in both the RGB and RGB-D cases. It also achieves performance competitive with existing state-of-the-art methods for the seen object pose estimation without any fine-tuning.