$\mathrm{F^2Depth}$: Self-supervised Indoor Monocular Depth Estimation via Optical Flow Consistency and Feature Map Synthesis

📄 arXiv: 2403.18443v1 📥 PDF

作者: Xiaotong Guo, Huijie Zhao, Shuwei Shao, Xudong Li, Baochang Zhang

分类: cs.CV

发布日期: 2024-03-27

💡 一句话要点

提出F^2Depth以解决室内单目深度估计中的低纹理区域问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 单目深度估计 光流估计 特征提取 室内场景 深度学习 计算机视觉

📋 核心要点

  1. 现有自监督单目深度估计方法在低纹理室内场景中性能显著下降，难以提取有效特征。
  2. 提出F^2Depth框架，通过自监督光流估计网络和光流一致性损失来提升深度估计的准确性。
  3. 在NYU Depth V2数据集上取得了优异的实验结果，并在7-Scenes和Campus Indoor数据集上实现了良好的零-shot泛化能力。

📝 摘要（中文）

自监督单目深度估计方法因其不需要大规模标注数据集而受到越来越多的关注。然而，这些方法在室内场景中表现不佳，尤其是在低纹理区域。为了解决这一问题，本文提出了一种名为F^2Depth的自监督室内单目深度估计框架。该框架引入自监督光流估计网络来指导深度学习，并通过设计基于补丁的光度损失来优化光流估计。经过微调的光流估计网络生成高精度的光流作为深度估计的监督信号。此外，设计了光流一致性损失和特征图合成损失作为深度学习的额外监督信号。实验结果表明，该框架在NYU Depth V2数据集上表现出色，并在未知室内场景中展现了良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决自监督单目深度估计在低纹理室内场景中性能下降的问题。现有方法在这些区域难以提取有效的显著特征，导致深度估计不准确。

核心思路：F^2Depth框架通过引入自监督光流估计网络来指导深度学习，利用光流信息来增强特征提取的有效性。通过选择具有更显著特征的补丁进行微调，提升光流估计的准确性。

技术框架：该框架包括自监督光流估计网络、光流一致性损失和特征图合成损失三个主要模块。光流估计网络负责生成光流作为深度估计的监督信号，而特征图合成损失则通过多尺度特征图的变形来进一步优化深度学习。

关键创新：最重要的创新在于设计了基于补丁的光度损失和光流一致性损失，这些损失函数有效提升了光流估计在低纹理区域的表现，从而提高了深度估计的准确性。

关键设计：在光流估计网络中，采用了针对特征显著性的补丁选择策略，并设计了多尺度特征图的合成损失，以确保深度估计的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NYU Depth V2数据集上，F^2Depth框架展示了优异的性能，尤其是在低纹理区域的深度估计上。此外，在7-Scenes和Campus Indoor数据集上，模型实现了75.8%和76.0%的δ_1准确率，表明其良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括室内导航、机器人视觉、增强现实等。通过提高室内场景的深度估计精度，F^2Depth框架能够为各种智能设备提供更准确的环境感知能力，推动智能家居和自动驾驶等领域的发展。

📄 摘要（原文）

Self-supervised monocular depth estimation methods have been increasingly given much attention due to the benefit of not requiring large, labelled datasets. Such self-supervised methods require high-quality salient features and consequently suffer from severe performance drop for indoor scenes, where low-textured regions dominant in the scenes are almost indiscriminative. To address the issue, we propose a self-supervised indoor monocular depth estimation framework called $\mathrm{F^2Depth}$. A self-supervised optical flow estimation network is introduced to supervise depth learning. To improve optical flow estimation performance in low-textured areas, only some patches of points with more discriminative features are adopted for finetuning based on our well-designed patch-based photometric loss. The finetuned optical flow estimation network generates high-accuracy optical flow as a supervisory signal for depth estimation. Correspondingly, an optical flow consistency loss is designed. Multi-scale feature maps produced by finetuned optical flow estimation network perform warping to compute feature map synthesis loss as another supervisory signal for depth learning. Experimental results on the NYU Depth V2 dataset demonstrate the effectiveness of the framework and our proposed losses. To evaluate the generalization ability of our $\mathrm{F^2Depth}$, we collect a Campus Indoor depth dataset composed of approximately 1500 points selected from 99 images in 18 scenes. Zero-shot generalization experiments on 7-Scenes dataset and Campus Indoor achieve $δ_1$ accuracy of 75.8% and 76.0% respectively. The accuracy results show that our model can generalize well to monocular images captured in unknown indoor scenes.