FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos

📄 arXiv: 2403.15161v1 📥 PDF

作者: Florian Langer, Jihong Ju, Georgi Dikov, Gerhard Reitmayr, Mohsen Ghafoorian

分类: cs.CV

发布日期: 2024-03-22

💡 一句话要点

提出FastCAD以解决实时CAD检索与对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 实时CAD检索 对齐技术 3D重建 对比学习 增强现实 机器人技术 模型蒸馏

📋 核心要点

  1. 现有方法计算复杂，需分阶段处理对象编码和CAD对齐，效率低下。
  2. FastCAD通过直接预测对齐参数和形状嵌入，提供了一个单阶段的实时检索与对齐解决方案。
  3. 在Scan2CAD对齐基准上，FastCAD的对齐准确率从43.0%提升至48.2%，重建准确率从22.9%提升至29.6%。

📝 摘要（中文）

将3D世界数字化为基于CAD模型的清晰表示在增强现实和机器人领域具有重要应用。目前的最先进方法计算量大，需分别编码每个检测到的对象并在第二阶段优化CAD对齐。本文提出FastCAD，一种实时方法，能够同时检索和对齐给定场景中的所有CAD模型。与以往工作不同，我们直接预测对齐参数和形状嵌入。通过在对比学习框架中学习CAD嵌入并将其蒸馏到FastCAD中，我们实现了高质量的形状检索。与其他RGB-D扫描方法相比，我们的方法在推理时间上加速了50倍，并在具有挑战性的Scan2CAD对齐基准上表现优异。此外，我们的方法与在线3D重建技术无缝协作，能够以10 FPS的速度实时生成精确的基于CAD模型的重建。

🔬 方法详解

问题定义：本文旨在解决现有CAD模型检索与对齐方法的计算复杂性和效率低下的问题。现有方法通常需要分阶段处理，导致推理时间长且性能受限。

核心思路：FastCAD的核心思路是通过直接预测对齐参数和形状嵌入，实现实时的CAD模型检索与对齐。该方法通过对比学习框架学习CAD嵌入，并将其蒸馏到FastCAD中，从而提高了检索质量和速度。

技术框架：FastCAD的整体架构包括数据输入、CAD模型检索、对齐参数预测和形状嵌入生成等主要模块。该方法在单一阶段内完成所有任务，避免了传统方法的多阶段处理。

关键创新：FastCAD的主要创新在于其单阶段处理能力和直接预测对齐参数的设计。这与传统方法的分阶段处理形成鲜明对比，显著提高了效率和准确性。

关键设计：在技术细节上，FastCAD使用了对比学习损失函数来优化CAD嵌入，并采用了特定的网络结构以确保高效的推理和准确的对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FastCAD在Scan2CAD对齐基准上表现出色，其对齐准确率从43.0%提升至48.2%，重建准确率从22.9%提升至29.6%。此外，该方法在推理时间上相比传统RGB-D扫描方法加速了50倍，展现出显著的性能优势。

🎯 应用场景

FastCAD在增强现实和机器人领域具有广泛的应用潜力。通过实时生成精确的CAD模型重建，该方法可以支持各种应用，如室内导航、虚拟试衣间和工业自动化等。未来，随着技术的进一步发展，FastCAD可能会在更多实时3D重建和交互式应用中发挥重要作用。

📄 摘要（原文）

Digitising the 3D world into a clean, CAD model-based representation has important applications for augmented reality and robotics. Current state-of-the-art methods are computationally intensive as they individually encode each detected object and optimise CAD alignments in a second stage. In this work, we propose FastCAD, a real-time method that simultaneously retrieves and aligns CAD models for all objects in a given scene. In contrast to previous works, we directly predict alignment parameters and shape embeddings. We achieve high-quality shape retrievals by learning CAD embeddings in a contrastive learning framework and distilling those into FastCAD. Our single-stage method accelerates the inference time by a factor of 50 compared to other methods operating on RGB-D scans while outperforming them on the challenging Scan2CAD alignment benchmark. Further, our approach collaborates seamlessly with online 3D reconstruction techniques. This enables the real-time generation of precise CAD model-based reconstructions from videos at 10 FPS. Doing so, we significantly improve the Scan2CAD alignment accuracy in the video setting from 43.0% to 48.2% and the reconstruction accuracy from 22.9% to 29.6%.