PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction

📄 arXiv: 2311.12024v2 📥 PDF

作者: Peng Wang, Hao Tan, Sai Bi, Yinghao Xu, Fujun Luan, Kalyan Sunkavalli, Wenping Wang, Zexiang Xu, Kai Zhang

分类: cs.CV

发布日期: 2023-11-20 (更新: 2023-11-23)

备注: Project website: https://totoro97.github.io/pf-lrm ; add more experiments

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PF-LRM以解决无姿态图像的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 姿态估计 自注意力机制 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在处理无姿态图像时面临重建精度低和计算效率差的挑战。
  2. PF-LRM通过自注意力机制在3D和2D标记间交换信息，实现高效的3D重建与姿态估计。
  3. 在训练过程中，PF-LRM在多视角数据集上表现出色，显著提高了姿态预测和3D重建的准确性。

📝 摘要（中文）

我们提出了一种无姿态大规模重建模型（PF-LRM），能够从少量无姿态图像中重建3D物体，即使视觉重叠较少，同时在单个A100 GPU上以约1.3秒的速度估计相对相机姿态。PF-LRM是一种高度可扩展的方法，利用自注意力模块在3D物体标记和2D图像标记之间交换信息；我们为每个视图预测粗略的点云，然后使用可微分的透视n点（PnP）求解器获得相机姿态。在对约100万个物体的大量多视角有姿态数据进行训练后，PF-LRM展现出强大的跨数据集泛化能力，并在各种未见评估数据集上在姿态预测精度和3D重建质量方面大幅超越基线方法。我们还展示了模型在文本/图像到3D任务中的快速前向推理的适用性。

🔬 方法详解

问题定义：本论文旨在解决从少量无姿态图像中重建3D物体的难题。现有方法在处理无姿态图像时，往往面临重建精度不足和计算效率低下的问题。

核心思路：PF-LRM的核心思路是利用自注意力机制在3D物体标记和2D图像标记之间进行信息交换，从而实现高效的3D重建和相机姿态估计。通过这种设计，模型能够在视觉重叠较少的情况下仍然获得良好的重建效果。

技术框架：PF-LRM的整体架构包括多个主要模块：首先，通过自注意力机制处理3D和2D标记；其次，为每个视图生成粗略的点云；最后，利用可微分的PnP求解器来估计相机姿态。

关键创新：PF-LRM的最大创新在于其无姿态重建能力和高效的姿态估计方法。与现有方法相比，PF-LRM在处理无姿态图像时展现出更强的泛化能力和更高的重建质量。

关键设计：在模型设计中，PF-LRM采用了自注意力块来增强信息流动，并通过大规模多视角数据集进行训练，确保了模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PF-LRM在姿态预测精度和3D重建质量上显著优于基线方法，尤其是在未见评估数据集上，提升幅度达到显著水平，证明了其强大的跨数据集泛化能力。

🎯 应用场景

PF-LRM在3D重建领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和计算机视觉等领域。其快速的推理能力使得该模型能够在实时应用中发挥重要作用，推动相关技术的进步和普及。

📄 摘要（原文）

We propose a Pose-Free Large Reconstruction Model (PF-LRM) for reconstructing a 3D object from a few unposed images even with little visual overlap, while simultaneously estimating the relative camera poses in ~1.3 seconds on a single A100 GPU. PF-LRM is a highly scalable method utilizing the self-attention blocks to exchange information between 3D object tokens and 2D image tokens; we predict a coarse point cloud for each view, and then use a differentiable Perspective-n-Point (PnP) solver to obtain camera poses. When trained on a huge amount of multi-view posed data of ~1M objects, PF-LRM shows strong cross-dataset generalization ability, and outperforms baseline methods by a large margin in terms of pose prediction accuracy and 3D reconstruction quality on various unseen evaluation datasets. We also demonstrate our model's applicability in downstream text/image-to-3D task with fast feed-forward inference. Our project website is at: https://totoro97.github.io/pf-lrm .