GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints

📄 arXiv: 2402.14354v1 📥 PDF

作者: Anqi Cheng, Zhiyuan Yang, Haiyue Zhu, Kezhi Mao

分类: cs.CV

发布日期: 2024-02-22

备注: To be published in 2024 IEEE International Conference on Robotics and Automation (ICRA)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GAM-Depth以解决室内深度估计中的不一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 深度估计 室内场景 梯度感知掩膜 语义约束 计算机视觉 图像重建

📋 核心要点

  1. 现有自监督深度估计方法在无纹理区域和物体边界的深度估计上存在不一致性和差异性问题。
  2. GAM-Depth通过梯度感知掩膜和语义约束，增强了对关键区域和无纹理区域的监督，提升了深度估计的准确性。
  3. 在多个室内数据集上，GAM-Depth的表现超越了现有方法，显示出显著的性能提升，达到了最先进的水平。

📝 摘要（中文）

自监督深度估计已演变为一种通过最小化光度损失的图像重建任务。尽管近期方法在室内深度估计方面取得了一定进展，但在无纹理区域的深度估计不一致性和物体边界的深度差异方面仍存在不足。为了解决这些问题，本文提出了GAM-Depth，基于两个新颖的组件：梯度感知掩膜和语义约束。梯度感知掩膜通过根据梯度大小分配权重，为关键区域和无纹理区域提供自适应和稳健的监督。引入的语义约束通过共优化网络和从预训练分割模型中获得的代理语义标签，改善了物体边界的深度差异。实验结果表明，GAM-Depth在NYUv2、ScanNet和InteriorNet等三个室内数据集上超越了现有方法，达到了最先进的性能，标志着室内深度估计的一个重要进展。

🔬 方法详解

问题定义：本文旨在解决自监督室内深度估计中存在的深度不一致性问题，尤其是在无纹理区域和物体边界处的深度差异。现有方法在这些区域的表现往往不尽如人意，导致深度估计结果的可靠性下降。

核心思路：GAM-Depth的核心思路是通过引入梯度感知掩膜和语义约束来改善深度估计的准确性。梯度感知掩膜根据图像梯度的大小为不同区域分配权重，从而实现自适应的监督；而语义约束则通过利用预训练的分割模型来优化物体边界的深度估计。

技术框架：GAM-Depth的整体架构包括两个主要模块：梯度感知掩膜模块和语义约束模块。首先，通过计算图像的梯度信息生成掩膜，然后在深度估计过程中结合语义信息进行优化。

关键创新：本文的关键创新在于引入了梯度感知掩膜和语义约束，这两者的结合使得模型在处理无纹理区域和物体边界时表现得更加稳健，与传统方法相比，显著提高了深度估计的准确性。

关键设计：在技术细节上，GAM-Depth采用了特定的损失函数来平衡光度损失和深度损失，同时在网络结构中融入了预训练的分割模型，以确保语义信息的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NYUv2、ScanNet和InteriorNet等三个室内数据集上的实验结果表明，GAM-Depth在深度估计任务中超越了现有的最先进方法，具体性能提升幅度达到XX%（具体数据待补充），显示出其在处理无纹理区域和物体边界方面的显著优势。

🎯 应用场景

该研究在室内场景的深度估计中具有广泛的应用潜力，能够为机器人导航、增强现实和智能家居等领域提供更准确的深度信息。随着技术的进步，GAM-Depth有望在实际应用中提升环境理解和交互能力，推动相关领域的发展。

📄 摘要（原文）

Self-supervised depth estimation has evolved into an image reconstruction task that minimizes a photometric loss. While recent methods have made strides in indoor depth estimation, they often produce inconsistent depth estimation in textureless areas and unsatisfactory depth discrepancies at object boundaries. To address these issues, in this work, we propose GAM-Depth, developed upon two novel components: gradient-aware mask and semantic constraints. The gradient-aware mask enables adaptive and robust supervision for both key areas and textureless regions by allocating weights based on gradient magnitudes.The incorporation of semantic constraints for indoor self-supervised depth estimation improves depth discrepancies at object boundaries, leveraging a co-optimization network and proxy semantic labels derived from a pretrained segmentation model. Experimental studies on three indoor datasets, including NYUv2, ScanNet, and InteriorNet, show that GAM-Depth outperforms existing methods and achieves state-of-the-art performance, signifying a meaningful step forward in indoor depth estimation. Our code will be available at https://github.com/AnqiCheng1234/GAM-Depth.