Improving Distant 3D Object Detection Using 2D Box Supervision

📄 arXiv: 2403.09230v1 📥 PDF

作者: Zetong Yang, Zhiding Yu, Chris Choy, Renhao Wang, Anima Anandkumar, Jose M. Alvarez

分类: cs.CV

发布日期: 2024-03-14

备注: Accepted by CVPR 2024

💡 一句话要点

提出LR3D框架以解决远距离3D物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D物体检测 深度估计 2D框监督 自动驾驶 计算机视觉

📋 核心要点

  1. 现有方法在远距离物体检测中依赖LiDAR，导致标注困难且深度信息稀疏。
  2. LR3D框架通过仅使用2D框监督，学习从2D框推断远处物体的深度信息。
  3. 实验结果显示，LR3D在200米以上的远距离检测中，精度与全3D监督相当，具有显著提升。

📝 摘要（中文）

远距离3D物体检测是一个重要且具有挑战性的任务。基于相机的3D感知通常依赖于LiDAR进行准确的深度信息标注，因此在远处物体的标注距离常常受到限制。为了解决这一问题，本文提出了LR3D框架，该框架仅使用2D框进行监督，学习恢复远处物体的缺失深度。LR3D采用隐式投影头，利用近处物体的3D监督学习2D框与深度之间的映射关系，使得基于2D监督的远距离3D检测成为可能。实验结果表明，LR3D在没有远距离3D标注的情况下，能够实现与全3D监督相当的检测精度。

🔬 方法详解

问题定义：本文旨在解决远距离3D物体检测中，由于LiDAR点稀疏导致的深度信息缺失问题。现有方法依赖于3D标注，限制了检测能力。

核心思路：LR3D框架的核心思路是仅使用2D框进行监督，学习2D框与深度之间的映射关系，从而推断远处物体的深度信息。这样的设计使得标注过程更加简便，并提高了检测的可行性。

技术框架：LR3D框架主要包括两个模块：隐式投影头和深度映射学习模块。隐式投影头负责从2D框生成深度信息，而深度映射学习模块则通过近处物体的3D监督来训练模型。

关键创新：LR3D的创新在于其能够在没有远距离3D标注的情况下，通过2D框实现远距离物体的深度估计。这一方法与传统依赖3D标注的检测方法本质上不同，极大地扩展了3D检测的应用范围。

关键设计：在模型设计中，LR3D采用了特定的损失函数来优化2D框与深度之间的映射关系，同时在网络结构上进行了调整，以适应远距离物体的特征提取需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LR3D在没有远距离3D标注的情况下，能够实现超过200米的物体检测，精度与全3D监督相当，显示出相较于传统方法的显著提升。这一成果为基于相机的3D检测提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、监控系统和无人机导航等。通过提高远距离3D物体检测的能力，LR3D框架能够在复杂环境中提供更可靠的感知信息，提升系统的安全性和效率。未来，该方法有望推动更多基于相机的3D感知技术的发展。

📄 摘要（原文）

Improving the detection of distant 3d objects is an important yet challenging task. For camera-based 3D perception, the annotation of 3d bounding relies heavily on LiDAR for accurate depth information. As such, the distance of annotation is often limited due to the sparsity of LiDAR points on distant objects, which hampers the capability of existing detectors for long-range scenarios. We address this challenge by considering only 2D box supervision for distant objects since they are easy to annotate. We propose LR3D, a framework that learns to recover the missing depth of distant objects. LR3D adopts an implicit projection head to learn the generation of mapping between 2D boxes and depth using the 3D supervision on close objects. This mapping allows the depth estimation of distant objects conditioned on their 2D boxes, making long-range 3D detection with 2D supervision feasible. Experiments show that without distant 3D annotations, LR3D allows camera-based methods to detect distant objects (over 200m) with comparable accuracy to full 3D supervision. Our framework is general, and could widely benefit 3D detection methods to a large extent.