Bilateral Propagation Network for Depth Completion

📄 arXiv: 2403.11270v2 📥 PDF

作者: Jie Tang, Fei-Peng Tian, Boshi An, Jian Li, Ping Tan

分类: cs.CV

发布日期: 2024-03-17 (更新: 2024-04-01)

备注: Accepted by CVPR 2024

💡 一句话要点

提出双边传播网络以解决深度补全问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度补全 双边传播 多模态融合 深度优化 计算机视觉

📋 核心要点

  1. 现有的深度补全方法主要依赖于对初始深度估计的迭代优化，导致对稀疏数据的直接卷积处理，效果有限。
  2. 本文提出的双边传播网络（BP-Net）在最早阶段进行深度传播，利用非线性模型从附近深度测量中获取目标深度，避免了直接卷积。
  3. BP-Net在NYUv2数据集上实现了最先进的性能，并在KITTI深度补全基准中排名第一，显示出早期传播的显著优势。

📝 摘要（中文）

深度补全旨在通过同步的彩色图像从稀疏深度测量中推导出密集深度图。当前的最先进方法主要基于传播，依赖于对初始估计的深度进行迭代优化。然而，初始深度估计通常直接应用卷积层于稀疏深度图。本文提出了一种双边传播网络（BP-Net），在最早阶段传播深度，以避免直接对稀疏数据进行卷积。具体而言，我们的方法通过非线性模型从附近的深度测量中传播目标深度，其系数通过多层感知器生成，条件为辐射差异和空间距离。通过将双边传播与多模态融合及多尺度框架中的深度优化相结合，我们的BP-Net在室内和室外场景中表现出色，在NYUv2数据集上实现了最先进的性能，并在提交时在KITTI深度补全基准中排名第一。实验结果不仅展示了双边传播的有效性，还强调了早期传播相较于优化阶段的重要性。我们的代码和训练模型将在项目页面上发布。

🔬 方法详解

问题定义：本文旨在解决深度补全中的稀疏深度测量与密集深度图生成之间的矛盾。现有方法在初始深度估计中直接对稀疏数据进行卷积，导致效果不佳。

核心思路：提出双边传播网络（BP-Net），在最早阶段通过非线性模型传播深度，避免直接卷积稀疏数据。该方法利用多层感知器生成传播系数，考虑辐射差异和空间距离。

技术框架：BP-Net的整体架构包括深度传播模块、多模态融合模块和多尺度深度优化模块。首先，进行早期深度传播，然后结合多模态信息进行融合，最后在多尺度上进行深度优化。

关键创新：最重要的创新在于早期阶段的深度传播设计，显著区别于传统的迭代优化方法，强调了传播过程的重要性。

关键设计：在网络结构上，采用多层感知器生成传播系数，损失函数设计上考虑了深度图的准确性和一致性，确保了深度补全的高效性和准确性。

📊 实验亮点

实验结果显示，BP-Net在NYUv2数据集上达到了最先进的性能，并在KITTI深度补全基准中排名第一，展示了相较于基线方法的显著提升，尤其是在早期传播阶段的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升环境感知能力。通过提供高质量的深度信息，BP-Net可为多种计算机视觉任务提供支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Depth completion aims to derive a dense depth map from sparse depth measurements with a synchronized color image. Current state-of-the-art (SOTA) methods are predominantly propagation-based, which work as an iterative refinement on the initial estimated dense depth. However, the initial depth estimations mostly result from direct applications of convolutional layers on the sparse depth map. In this paper, we present a Bilateral Propagation Network (BP-Net), that propagates depth at the earliest stage to avoid directly convolving on sparse data. Specifically, our approach propagates the target depth from nearby depth measurements via a non-linear model, whose coefficients are generated through a multi-layer perceptron conditioned on both \emph{radiometric difference} and \emph{spatial distance}. By integrating bilateral propagation with multi-modal fusion and depth refinement in a multi-scale framework, our BP-Net demonstrates outstanding performance on both indoor and outdoor scenes. It achieves SOTA on the NYUv2 dataset and ranks 1st on the KITTI depth completion benchmark at the time of submission. Experimental results not only show the effectiveness of bilateral propagation but also emphasize the significance of early-stage propagation in contrast to the refinement stage. Our code and trained models will be available on the project page.