MonoDiffusion: Self-Supervised Monocular Depth Estimation Using Diffusion Model

📄 arXiv: 2311.07198v1 📥 PDF

作者: Shuwei Shao, Zhongcai Pei, Weihai Chen, Dingchi Sun, Peter C. Y. Chen, Zhengguo Li

分类: cs.CV

发布日期: 2023-11-13

备注: 10 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出MonoDiffusion以解决自监督单目深度估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 单目深度估计 去噪模型 伪真实深度 蒸馏训练 深度学习

📋 核心要点

  1. 现有的自监督单目深度估计方法在处理遮挡和动态物体时存在不足，且对网络架构和损失函数的设计依赖较大。
  2. 本文提出的MonoDiffusion框架通过伪真实深度扩散过程，将深度估计问题转化为迭代去噪过程，从而提高了模型的去噪能力。
  3. 在KITTI和Make3D数据集上的实验结果显示，MonoDiffusion在深度估计精度上显著优于现有的最先进方法，验证了其有效性。

📝 摘要（中文）

近年来，自监督单目深度估计在训练阶段不依赖真实深度图的研究受到广泛关注。大多数研究集中在设计不同的网络架构和损失函数，或处理遮挡和动态物体等边缘情况。本文提出了一种新颖的自监督深度估计框架MonoDiffusion，将其表述为迭代去噪过程。由于训练阶段缺乏真实深度图，我们开发了一种伪真实深度扩散过程，以辅助MonoDiffusion中的扩散。此外，教师模型的引入使得可以应用蒸馏损失来指导去噪深度。我们还开发了一种掩蔽视觉条件机制，以增强模型的去噪能力。大量实验表明，MonoDiffusion在KITTI和Make3D数据集上超越了现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决自监督单目深度估计中缺乏真实深度图的问题。现有方法在处理复杂场景（如遮挡和动态物体）时表现不佳，且对网络架构和损失函数的设计依赖较大。

核心思路：论文提出的MonoDiffusion框架通过将深度估计视为迭代去噪过程，利用伪真实深度扩散过程来生成训练数据，从而在缺乏真实深度图的情况下进行有效学习。

技术框架：MonoDiffusion的整体架构包括一个预训练的教师模型和一个去噪模型。教师模型生成初始深度图，并通过伪真实深度扩散过程逐步添加噪声，去噪模型则通过蒸馏损失进行训练。

关键创新：最重要的创新在于引入伪真实深度扩散过程，使得在没有真实深度图的情况下，模型仍能通过迭代去噪有效学习深度信息。这一方法与传统的依赖真实标签的深度估计方法有本质区别。

关键设计：在设计中，采用了蒸馏损失来指导去噪过程，并引入了掩蔽视觉条件机制，以增强模型的去噪能力。具体的网络结构和损失函数设计为模型提供了更强的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI和Make3D数据集上的实验结果显示，MonoDiffusion在深度估计精度上超越了现有的最先进方法，具体性能提升幅度达到XX%，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些应用中，准确的深度信息对于环境感知和决策至关重要。MonoDiffusion的自监督特性使其在缺乏标注数据的情况下仍能有效工作，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Over the past few years, self-supervised monocular depth estimation that does not depend on ground-truth during the training phase has received widespread attention. Most efforts focus on designing different types of network architectures and loss functions or handling edge cases, e.g., occlusion and dynamic objects. In this work, we introduce a novel self-supervised depth estimation framework, dubbed MonoDiffusion, by formulating it as an iterative denoising process. Because the depth ground-truth is unavailable in the training phase, we develop a pseudo ground-truth diffusion process to assist the diffusion in MonoDiffusion. The pseudo ground-truth diffusion gradually adds noise to the depth map generated by a pre-trained teacher model. Moreover,the teacher model allows applying a distillation loss to guide the denoised depth. Further, we develop a masked visual condition mechanism to enhance the denoising ability of model. Extensive experiments are conducted on the KITTI and Make3D datasets and the proposed MonoDiffusion outperforms prior state-of-the-art competitors. The source code will be available at https://github.com/ShuweiShao/MonoDiffusion.