RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale

📄 arXiv: 2401.04325v2 📥 PDF

作者: Han Li, Yukai Ma, Yaqing Gu, Kewei Hu, Yong Liu, Xingxing Zuo

分类: cs.CV

发布日期: 2024-01-09 (更新: 2024-03-19)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RadarCam-Depth以解决雷达与相机融合深度估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度估计 雷达-相机融合 多模态学习 机器学习 计算机视觉

📋 核心要点

  1. 现有的雷达与相机数据融合方法在深度估计中存在伪影和边界模糊等问题，导致准确性不足。
  2. 论文提出了一种四阶段的Radar-Camera框架，通过学习稀疏雷达点与图像补丁之间的关联来增强单目深度预测。
  3. 实验结果表明，所提方法在nuScenes和ZJU-4DRadarCam数据集上分别提高了25.6%和40.2%的深度估计准确性。

📝 摘要（中文）

我们提出了一种基于单视图图像与稀疏噪声雷达点云融合的新方法，用于度量密集深度估计。现有的异构雷达与图像数据直接融合往往会导致深度图存在显著伪影、模糊边界和亚优准确性。为了解决这一问题，我们通过学习将多样且稳健的单目深度预测与稀疏雷达数据引导的密集度量尺度相结合。我们提出的Radar-Camera框架包含四个阶段，显著提高了深度估计的准确性和细节表现。我们的实验结果显示，在nuScenes数据集和自收集的ZJU-4DRadarCam数据集上，深度估计的平均绝对误差分别降低了25.6%和40.2%。

🔬 方法详解

问题定义：本论文旨在解决现有雷达与相机融合深度估计方法中存在的伪影、模糊边界和准确性不足的问题。现有方法在直接融合异构数据时，往往无法有效利用稀疏雷达数据的优势。

核心思路：我们通过学习将单目深度预测与稀疏雷达数据引导的密集度量尺度相结合，增强了深度估计的准确性和细节表现。此方法的设计旨在充分利用雷达数据的稀疏性和图像数据的丰富信息。

技术框架：整体框架分为四个主要阶段：单目深度预测、单目深度与稀疏雷达点的全局尺度对齐、通过学习雷达点与图像补丁的关联进行准密集尺度估计，以及使用尺度图学习器进行局部尺度细化。

关键创新：最重要的创新在于通过学习关联来实现稀疏雷达点与图像补丁之间的有效融合，从而显著提高了深度估计的精度。这一方法与传统的直接融合方法有本质区别。

关键设计：在技术细节上，采用了特定的损失函数来优化尺度对齐过程，并设计了适应性强的网络结构以处理不同来源的数据特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在nuScenes数据集上将深度估计的平均绝对误差降低了25.6%，在ZJU-4DRadarCam数据集上降低了40.2%。这些结果显著优于现有的雷达-相机深度估计方法，验证了所提框架的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过提高深度估计的准确性，能够为这些领域提供更可靠的环境感知能力，进而提升系统的智能化水平和安全性。未来，该方法可能推动多模态传感器融合技术的发展，促进更复杂场景下的应用。

📄 摘要（原文）

We present a novel approach for metric dense depth estimation based on the fusion of a single-view image and a sparse, noisy Radar point cloud. The direct fusion of heterogeneous Radar and image data, or their encodings, tends to yield dense depth maps with significant artifacts, blurred boundaries, and suboptimal accuracy. To circumvent this issue, we learn to augment versatile and robust monocular depth prediction with the dense metric scale induced from sparse and noisy Radar data. We propose a Radar-Camera framework for highly accurate and fine-detailed dense depth estimation with four stages, including monocular depth prediction, global scale alignment of monocular depth with sparse Radar points, quasi-dense scale estimation through learning the association between Radar points and image patches, and local scale refinement of dense depth using a scale map learner. Our proposed method significantly outperforms the state-of-the-art Radar-Camera depth estimation methods by reducing the mean absolute error (MAE) of depth estimation by 25.6% and 40.2% on the challenging nuScenes dataset and our self-collected ZJU-4DRadarCam dataset, respectively. Our code and dataset will be released at \url{https://github.com/MMOCKING/RadarCam-Depth}.