DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image

📄 arXiv: 2311.18610v2 📥 PDF

作者: Daoyi Gao, Dávid Rozenberszki, Stefan Leutenegger, Angela Dai

分类: cs.CV

发布日期: 2023-11-30 (更新: 2024-06-06)

备注: SIGGRAPH 2024, Project page: https://daoyig.github.io/DiffCAD/

💡 一句话要点

提出DiffCAD以解决CAD模型检索与对齐问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: CAD模型检索 弱监督学习 概率模型 深度学习 扩散模型 3D重建 计算机视觉

📋 核心要点

  1. 现有方法依赖昂贵的CAD模型注释，面临深度尺度模糊和模型匹配不精确等挑战。
  2. DiffCAD提出了一种弱监督概率方法，通过条件生成任务和扩散模型来学习CAD对象的隐式概率模型。
  3. 在Scan2CAD数据集上，DiffCAD的多假设方法在仅使用合成数据的情况下，性能超越了监督学习的最新技术，提升幅度达到5.9%。

📝 摘要（中文）

本研究提出DiffCAD，这是首个弱监督概率方法，用于从RGB图像中检索和对齐CAD模型。现有方法依赖昂贵的CAD模型注释，面临深度尺度模糊和模型匹配不精确等挑战。DiffCAD通过条件生成任务，利用扩散模型学习隐式概率模型，捕捉CAD对象的形状、姿态和尺度，从而生成多假设的CAD重建，且仅需少量假设即可表征深度/尺度模糊和形状匹配的不确定性。尽管仅在合成数据上训练，DiffCAD在Scan2CAD数据集上的表现超越了监督学习的最新技术，提升幅度达到5.9%。

🔬 方法详解

问题定义：本研究旨在解决从RGB图像中检索和对齐CAD模型的任务。现有方法依赖昂贵的注释数据，且在深度尺度和形状匹配上存在模糊性和不精确性。

核心思路：DiffCAD通过引入弱监督学习和条件生成任务，利用扩散模型来学习CAD对象的隐式概率分布，从而生成多种可能的CAD重建，减少对精确注释的依赖。

技术框架：DiffCAD的整体架构包括数据预处理、扩散模型训练和多假设生成三个主要模块。首先，利用合成数据进行模型训练，然后通过扩散过程生成不同的CAD重建假设。

关键创新：DiffCAD的主要创新在于其弱监督学习框架和多假设生成能力，能够在没有精确注释的情况下有效处理深度和形状的不确定性，与传统方法相比具有显著优势。

关键设计：在技术细节上，DiffCAD使用合成数据进行训练，结合单目深度和掩膜估计，采用特定的损失函数来优化模型性能，确保生成的CAD重建具有较高的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Scan2CAD数据集上，DiffCAD的多假设方法在仅使用合成数据的情况下，性能超越了监督学习的最新技术，提升幅度达到5.9%。这一结果表明，DiffCAD在处理CAD模型检索与对齐任务时，具有显著的优势和潜力。

🎯 应用场景

DiffCAD的研究成果在多个领域具有潜在应用价值，包括机器人视觉、增强现实和自动驾驶等。通过有效的CAD模型检索与对齐，能够提升3D场景理解的准确性和效率，推动相关技术的发展与应用。未来，该方法有望在实际场景中实现更广泛的应用，促进智能系统的进步。

📄 摘要（原文）

Perceiving 3D structures from RGB images based on CAD model primitives can enable an effective, efficient 3D object-based representation of scenes. However, current approaches rely on supervision from expensive annotations of CAD models associated with real images, and encounter challenges due to the inherent ambiguities in the task -- both in depth-scale ambiguity in monocular perception, as well as inexact matches of CAD database models to real observations. We thus propose DiffCAD, the first weakly-supervised probabilistic approach to CAD retrieval and alignment from an RGB image. We formulate this as a conditional generative task, leveraging diffusion to learn implicit probabilistic models capturing the shape, pose, and scale of CAD objects in an image. This enables multi-hypothesis generation of different plausible CAD reconstructions, requiring only a few hypotheses to characterize ambiguities in depth/scale and inexact shape matches. Our approach is trained only on synthetic data, leveraging monocular depth and mask estimates to enable robust zero-shot adaptation to various real target domains. Despite being trained solely on synthetic data, our multi-hypothesis approach can even surpass the supervised state-of-the-art on the Scan2CAD dataset by 5.9% with 8 hypotheses.