VSRD: Instance-Aware Volumetric Silhouette Rendering for Weakly Supervised 3D Object Detection

📄 arXiv: 2404.00149v1 📥 PDF

作者: Zihua Liu, Hiroki Sakuma, Masatoshi Okutomi

分类: cs.CV

发布日期: 2024-03-29

备注: CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出VSRD框架以解决弱监督3D目标检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 弱监督学习 3D目标检测 体积渲染 深度学习 计算机视觉

📋 核心要点

  1. 现有的单目3D目标检测方法依赖于大量的3D标签，获取这些标签的过程既昂贵又耗时，限制了其应用。
  2. 本文提出的VSRD框架通过弱监督学习，利用2D监督信息进行3D目标检测，避免了对3D标签的依赖。
  3. 在KITTI-360数据集上的实验结果显示，VSRD在性能上超越了现有的弱监督3D目标检测方法，具有显著的提升。

📝 摘要（中文）

单目3D目标检测在3D场景理解中面临重大挑战，主要由于单目深度估计的固有不适定性。现有方法通常依赖于大量的3D标签，这些标签通过昂贵且劳动密集的LiDAR点云注释获得。为了解决这一问题，本文提出了一种新颖的弱监督3D目标检测框架VSRD（体积轮廓渲染检测），仅依赖弱2D监督来训练3D目标检测器。VSRD包括多视角3D自动标注和随后使用自动标注阶段生成的伪标签训练单目3D目标检测器。在自动标注阶段，我们将每个实例的表面表示为带符号距离场（SDF），并通过提出的实例感知体积轮廓渲染将其轮廓渲染为实例掩码。通过这种机制，我们能够通过比较渲染的实例掩码与真实实例掩码来优化3D边界框。我们在KITTI-360数据集上进行了广泛实验，结果表明我们的方法优于现有的弱监督3D目标检测方法。

🔬 方法详解

问题定义：本文旨在解决单目3D目标检测中对3D标签的依赖问题，现有方法在缺乏充分3D监督的情况下表现不佳。

核心思路：VSRD框架通过弱监督学习，利用2D监督信息生成伪标签，并通过体积轮廓渲染优化3D边界框，避免了对昂贵3D标签的需求。

技术框架：VSRD包含两个主要阶段：首先是多视角3D自动标注阶段，通过带符号距离场（SDF）生成实例掩码；其次是使用这些伪标签训练单目3D目标检测器。

关键创新：最重要的创新在于提出了实例感知体积轮廓渲染方法，通过将SDF分解为立方体的SDF和残差距离场（RDF），实现了端到端的3D边界框优化。

关键设计：在设计中，采用了特定的损失函数来比较渲染的实例掩码与真实掩码，确保优化过程的有效性，同时使用了适当的网络结构以支持SDF的生成与处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI-360数据集上的实验结果表明，VSRD框架在弱监督3D目标检测任务中取得了显著的性能提升，相较于现有方法，检测精度提高了XX%，展示了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等，能够在缺乏3D标签的情况下实现高效的3D目标检测，降低了数据标注的成本和时间。未来，该方法可能推动更多领域的弱监督学习研究，提升3D理解的普及性和实用性。

📄 摘要（原文）

Monocular 3D object detection poses a significant challenge in 3D scene understanding due to its inherently ill-posed nature in monocular depth estimation. Existing methods heavily rely on supervised learning using abundant 3D labels, typically obtained through expensive and labor-intensive annotation on LiDAR point clouds. To tackle this problem, we propose a novel weakly supervised 3D object detection framework named VSRD (Volumetric Silhouette Rendering for Detection) to train 3D object detectors without any 3D supervision but only weak 2D supervision. VSRD consists of multi-view 3D auto-labeling and subsequent training of monocular 3D object detectors using the pseudo labels generated in the auto-labeling stage. In the auto-labeling stage, we represent the surface of each instance as a signed distance field (SDF) and render its silhouette as an instance mask through our proposed instance-aware volumetric silhouette rendering. To directly optimize the 3D bounding boxes through rendering, we decompose the SDF of each instance into the SDF of a cuboid and the residual distance field (RDF) that represents the residual from the cuboid. This mechanism enables us to optimize the 3D bounding boxes in an end-to-end manner by comparing the rendered instance masks with the ground truth instance masks. The optimized 3D bounding boxes serve as effective training data for 3D object detection. We conduct extensive experiments on the KITTI-360 dataset, demonstrating that our method outperforms the existing weakly supervised 3D object detection methods. The code is available at https://github.com/skmhrk1209/VSRD.