Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency

📄 arXiv: 2401.12019v2 📥 PDF

作者: Woonghyun Ka, Jae Young Lee, Jaehyun Choi, Junmo Kim

分类: cs.CV

发布日期: 2024-01-22 (更新: 2024-01-23)

备注: ICASSP 2024. The first two authors are equally contributed

💡 一句话要点

提出无监督单目深度估计的新方法以解决伪深度图错误问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 知识蒸馏 立体匹配 无监督学习 深度学习 计算机视觉 错误过滤

📋 核心要点

  1. 现有的自监督单目深度估计方法依赖于学习型立体置信度网络，这需要真实标签，限制了其在无监督环境中的应用。
  2. 本文提出了一种新方法，通过多个视差图检查一致性来识别和过滤伪深度图中的错误，避免了对真实标签的依赖。
  3. 实验结果显示，所提方法在多种配置下均表现优异，尤其在处理纹理缺失和反射表面时，显著提高了深度估计的准确性。

📝 摘要（中文）

在自监督单目深度估计的立体匹配知识蒸馏方法中，立体匹配网络的知识通过伪深度图蒸馏到单目深度网络中。现有方法通常依赖于学习型立体置信度网络来识别伪深度图中的错误，但这种网络需要真实标签进行训练，这在自监督设置中不可行。本文提出了一种利用多个视差图检查一致性的方法，以识别和过滤伪深度图中的错误，无需真实标签和训练过程。实验结果表明，所提方法在各种配置下均优于以往方法，特别是在纹理缺失区域、遮挡边界和反射表面等立体匹配脆弱区域有效过滤错误。

🔬 方法详解

问题定义：本文旨在解决自监督单目深度估计中伪深度图错误的问题。现有方法依赖于真实标签训练的立体置信度网络，导致在无监督场景中难以应用。

核心思路：提出通过多个视差图的相互一致性来识别和过滤伪深度图中的错误。这种方法不需要真实标签和训练过程，适应性更强。

技术框架：整体架构包括多个视差图的生成、错误识别和过滤模块。首先生成多个视差图，然后通过一致性检查来识别错误区域，最后过滤掉这些区域以提高深度估计的准确性。

关键创新：最重要的创新在于无需真实标签的情况下，通过多个视差图的一致性来识别和过滤错误。这与传统方法依赖于真实标签的方式本质上不同。

关键设计：在设计中，采用了多个视差图的生成策略，并通过一致性检查来评估伪深度图的可靠性。具体的损失函数和网络结构设计未在摘要中详细说明，需参考论文的具体内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个数据集上均优于现有的基线方法，尤其在纹理缺失和反射表面等困难场景中，深度估计的准确性提高了显著，具体提升幅度未在摘要中给出，需参考论文详细数据。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够在缺乏真实标签的情况下提供高质量的深度估计。这将推动相关领域的技术进步，提升系统的智能化水平和应用效果。

📄 摘要（原文）

In stereo-matching knowledge distillation methods of the self-supervised monocular depth estimation, the stereo-matching network's knowledge is distilled into a monocular depth network through pseudo-depth maps. In these methods, the learning-based stereo-confidence network is generally utilized to identify errors in the pseudo-depth maps to prevent transferring the errors. However, the learning-based stereo-confidence networks should be trained with ground truth (GT), which is not feasible in a self-supervised setting. In this paper, we propose a method to identify and filter errors in the pseudo-depth map using multiple disparity maps by checking their consistency without the need for GT and a training process. Experimental results show that the proposed method outperforms the previous methods and works well on various configurations by filtering out erroneous areas where the stereo-matching is vulnerable, especially such as textureless regions, occlusion boundaries, and reflective surfaces.