CN-RMA: Combined Network with Ray Marching Aggregation for 3D Indoors Object Detection from Multi-view Images

📄 arXiv: 2403.04198v2 📥 PDF

作者: Guanlin Shen, Jingwei Huang, Zhihua Hu, Bin Wang

分类: cs.CV

发布日期: 2024-03-07 (更新: 2024-04-09)

备注: CVPR2024 poster paper, 8 pages of main part, and 4 pages of supplementary material

🔗 代码/项目: GITHUB

💡 一句话要点

提出CN-RMA以解决多视角图像中的3D室内物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D物体检测 多视角图像 光线行进 室内场景理解 深度学习

📋 核心要点

  1. 现有方法在处理多视角图像时，缺乏显式几何信息，导致图像与3D物体之间的对应关系模糊，影响检测精度。
  2. CN-RMA通过结合3D重建网络和3D物体检测网络，利用光线行进技术为每个采样点分配权重，从而改善3D空间中的特征投票。
  3. 在ScanNet和ARKitScenes数据集上，CN-RMA在mAP@0.25和mAP@0.5指标上均取得了领先的检测性能，展示了其有效性。

📝 摘要（中文）

本文介绍了一种新颖的方法CN-RMA，用于从多视角图像中进行3D室内物体检测。我们观察到，缺乏显式几何信息导致图像与3D对应关系的模糊性是一个关键挑战。为了解决这一问题，CN-RMA利用3D重建网络和3D物体检测网络的协同作用，其中重建网络提供粗略的截断符号距离函数（TSDF），并引导图像特征以端到端的方式正确投票到3D空间。具体而言，我们通过光线行进为每个光线的采样点关联权重，表示图像中像素对相应3D位置的贡献。这些权重由预测的符号距离决定，使得图像特征仅投票到接近重建表面的区域。我们的方法在ScanNet和ARKitScenes数据集上实现了3D物体检测的最新性能，具体通过mAP@0.25和mAP@0.5进行评估。代码和模型已在https://github.com/SerCharles/CN-RMA发布。

🔬 方法详解

问题定义：本文旨在解决从多视角图像中进行3D室内物体检测时，由于缺乏显式几何信息而导致的图像与3D对应关系模糊的问题。现有方法在这一方面存在显著不足，影响了检测的准确性和鲁棒性。

核心思路：CN-RMA的核心思路是通过结合3D重建网络和3D物体检测网络，利用重建网络提供的粗略TSDF来引导图像特征进行有效的3D空间投票。通过光线行进技术，赋予每个采样点权重，使得图像特征能够更准确地反映其在3D空间中的位置。

技术框架：CN-RMA的整体架构包括两个主要模块：3D重建模块和3D物体检测模块。重建模块生成TSDF，检测模块则利用这些信息进行物体检测。整个过程是端到端的，确保了信息的有效传递和利用。

关键创新：最重要的技术创新在于通过光线行进为每个采样点分配权重，这一设计使得图像特征的投票更加精准，显著提高了3D物体检测的性能。这与传统方法的直接投票方式有本质区别。

关键设计：在关键设计方面，论文详细描述了权重的计算方式，基于预测的符号距离来决定图像特征对3D位置的贡献。此外，网络结构的选择和损失函数的设计也经过精心调整，以优化整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CN-RMA在ScanNet和ARKitScenes数据集上取得了显著的性能提升，mAP@0.25和mAP@0.5的指标均达到了最新的状态，展示了其在3D物体检测任务中的优越性。这一成果为多视角图像处理领域提供了新的研究方向和技术基础。

🎯 应用场景

该研究的潜在应用场景包括智能家居、机器人导航和增强现实等领域。通过提高3D室内物体检测的准确性，CN-RMA能够为这些应用提供更可靠的环境理解和交互能力，推动相关技术的发展与普及。

📄 摘要（原文）

This paper introduces CN-RMA, a novel approach for 3D indoor object detection from multi-view images. We observe the key challenge as the ambiguity of image and 3D correspondence without explicit geometry to provide occlusion information. To address this issue, CN-RMA leverages the synergy of 3D reconstruction networks and 3D object detection networks, where the reconstruction network provides a rough Truncated Signed Distance Function (TSDF) and guides image features to vote to 3D space correctly in an end-to-end manner. Specifically, we associate weights to sampled points of each ray through ray marching, representing the contribution of a pixel in an image to corresponding 3D locations. Such weights are determined by the predicted signed distances so that image features vote only to regions near the reconstructed surface. Our method achieves state-of-the-art performance in 3D object detection from multi-view images, as measured by mAP@0.25 and mAP@0.5 on the ScanNet and ARKitScenes datasets. The code and models are released at https://github.com/SerCharles/CN-RMA.