ECoDepth: Effective Conditioning of Diffusion Models for Monocular Depth Estimation
作者: Suraj Patni, Aradhye Agarwal, Chetan Arora
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-03-27 (更新: 2024-04-17)
备注: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024
💡 一句话要点
提出ECoDepth以解决单目深度估计中的上下文信息不足问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单目深度估计 扩散模型 ViT嵌入 计算机视觉 深度学习 上下文信息 零样本迁移 NYUv2数据集
📋 核心要点
- 现有的单幅图像深度估计方法在缺乏视差线索时，依赖阴影和上下文信息，导致性能受限。
- 本文提出了一种基于扩散模型的新型单幅图像深度估计模型，利用预训练ViT模型生成的嵌入向量提供上下文信息。
- 在NYUv2和KITTI数据集上，实验结果显示该模型分别提高了14%和2%的深度估计精度，且在零样本迁移中表现优异。
📝 摘要（中文）
在缺乏视差线索的情况下，基于学习的单幅图像深度估计模型依赖于图像中的阴影和上下文线索。尽管这种简单性具有吸引力，但训练此类模型需要大量多样化的数据集，这些数据集难以获取。本文探索了使用预训练ViT模型生成的全局图像先验，以提供更详细的上下文信息。我们提出了一种新的单幅图像深度估计模型，基于扩散模型，并以ViT嵌入为条件。实验结果表明，该模型在NYUv2数据集上实现了0.059的绝对相对误差，相较于当前的SOTA（0.069）提高了14%。在KITTI数据集上，平方相对误差为0.139，较当前SOTA（0.142）提高了2%。
🔬 方法详解
问题定义：本文旨在解决单幅图像深度估计中缺乏有效上下文信息的问题。现有方法在没有视差线索的情况下，依赖于阴影和上下文线索，导致深度估计的准确性受到限制。
核心思路：我们提出利用预训练的ViT模型生成的全局图像嵌入，作为条件输入，来增强深度估计模型的上下文理解能力。与传统的通过生成伪图像标题并使用CLIP进行文本嵌入的方法相比，ViT嵌入能够捕捉到更丰富的相关信息。
技术框架：整体架构包括一个基于扩散模型的深度估计网络，输入为单幅图像和ViT嵌入。模型通过条件化的方式，将ViT嵌入与图像特征结合，进行深度预测。主要模块包括图像特征提取、ViT嵌入处理和深度估计模块。
关键创新：本研究的关键创新在于首次将ViT嵌入用于单幅图像深度估计，并通过扩散模型进行条件化设计。这一方法显著提升了模型的性能，超越了现有的SOTA方法。
关键设计：在模型设计中，我们采用了特定的损失函数以优化深度估计的准确性，并在网络结构中引入了多层特征融合机制，以充分利用ViT嵌入的信息。
📊 实验亮点
实验结果显示，ECoDepth在NYUv2数据集上实现了0.059的绝对相对误差，相较于当前SOTA（0.069）提高了14%；在KITTI数据集上，平方相对误差为0.139，较当前SOTA（0.142）提高了2%。在零样本迁移中，模型在多个数据集上表现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够为这些领域提供更准确的深度信息，提升系统的智能化水平。未来，该方法可进一步扩展到其他视觉任务中，推动计算机视觉技术的发展。
📄 摘要（原文）
In the absence of parallax cues, a learning-based single image depth estimation (SIDE) model relies heavily on shading and contextual cues in the image. While this simplicity is attractive, it is necessary to train such models on large and varied datasets, which are difficult to capture. It has been shown that using embeddings from pre-trained foundational models, such as CLIP, improves zero shot transfer in several applications. Taking inspiration from this, in our paper we explore the use of global image priors generated from a pre-trained ViT model to provide more detailed contextual information. We argue that the embedding vector from a ViT model, pre-trained on a large dataset, captures greater relevant information for SIDE than the usual route of generating pseudo image captions, followed by CLIP based text embeddings. Based on this idea, we propose a new SIDE model using a diffusion backbone which is conditioned on ViT embeddings. Our proposed design establishes a new state-of-the-art (SOTA) for SIDE on NYUv2 dataset, achieving Abs Rel error of 0.059 (14% improvement) compared to 0.069 by the current SOTA (VPD). And on KITTI dataset, achieving Sq Rel error of 0.139 (2% improvement) compared to 0.142 by the current SOTA (GEDepth). For zero-shot transfer with a model trained on NYUv2, we report mean relative improvement of (20%, 23%, 81%, 25%) over NeWCRFs on (Sun-RGBD, iBims1, DIODE, HyperSim) datasets, compared to (16%, 18%, 45%, 9%) by ZoeDepth. The project page is available at https://ecodepth-iitd.github.io