Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

📄 arXiv: 2401.10891v2 📥 PDF

作者: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

分类: cs.CV

发布日期: 2024-01-19 (更新: 2024-04-07)

备注: Accepted by CVPR 2024. Project page: https://depth-anything.github.io

🔗 代码/项目: GITHUB

💡 一句话要点

提出Depth Anything以解决单目深度估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目深度估计 大规模未标记数据 数据增强 辅助监督 深度学习模型

📋 核心要点

  1. 现有的单目深度估计方法在处理复杂场景时泛化能力不足，导致深度估计的准确性受到限制。
  2. 本研究提出Depth Anything，通过收集和自动标注大规模未标记数据，构建一个强大的基础模型，并引入数据增强和辅助监督机制。
  3. 实验结果表明，该模型在六个公共数据集上表现出色，且通过微调后在深度估计任务中设定了新的性能基准。

📝 摘要（中文）

本研究提出Depth Anything，这是一个针对单目深度估计的实用解决方案。我们不追求新颖的技术模块，而是旨在构建一个简单而强大的基础模型，能够在各种情况下处理任何图像。为此，我们通过设计数据引擎收集并自动标注大规模未标记数据（约6200万），显著扩大数据覆盖范围，从而减少泛化误差。我们探讨了两种简单有效的策略，使数据扩展变得可行。首先，通过利用数据增强工具创建更具挑战性的优化目标，促使模型主动寻求额外的视觉知识并获得稳健的表示。其次，开发了辅助监督机制，强制模型从预训练编码器中继承丰富的语义先验。我们在六个公共数据集和随机捕获的照片上广泛评估了其零-shot能力，显示出令人印象深刻的泛化能力。通过使用NYUv2和KITTI的度量深度信息进行微调，设定了新的SOTA。

🔬 方法详解

问题定义：本研究旨在解决单目深度估计中的泛化能力不足问题。现有方法在复杂场景下的表现往往不尽如人意，导致深度估计的准确性受到影响。

核心思路：论文的核心思路是通过大规模未标记数据的收集与自动标注，构建一个简单而强大的基础模型。通过数据增强和辅助监督机制，模型能够更好地学习视觉知识和语义先验。

技术框架：整体架构包括数据收集与标注模块、模型训练模块和评估模块。数据引擎负责收集和标注数据，模型训练则结合数据增强和辅助监督进行优化，最后在多个数据集上进行评估。

关键创新：最重要的技术创新点在于通过设计数据引擎收集大规模未标记数据，并引入数据增强和辅助监督机制。这与现有方法的本质区别在于不依赖于复杂的模型架构，而是通过数据驱动的方式提升模型性能。

关键设计：在模型训练中，采用了多种数据增强技术以创建更具挑战性的优化目标，并设计了辅助监督机制以从预训练编码器中继承语义信息。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Depth Anything在六个公共数据集上展现了优异的零-shot能力，尤其在NYUv2和KITTI数据集上，通过微调后设定了新的SOTA，进一步提升了深度估计的准确性和鲁棒性。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶、机器人导航、增强现实等领域。在这些应用中，准确的深度估计对于环境理解和决策制定至关重要。未来，该模型的推广和应用可能会显著提升相关技术的智能化水平和实用性。

📄 摘要（原文）

This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.