Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation

📄 arXiv: 2404.15506v4 📥 PDF

作者: Mu Hu, Wei Yin, Chi Zhang, Zhipeng Cai, Xiaoxiao Long, Kaixuan Wang, Hao Chen, Gang Yu, Chunhua Shen, Shaojie Shen

分类: cs.CV

发布日期: 2024-03-22 (更新: 2025-01-03)

备注: Our project page is at https://JUGGHM.github.io/Metric3Dv2. Accpeted to TPAMI. arXiv admin note: text overlap with arXiv:2307.10984

期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 12, pp. 10579-10596, 2024

DOI: 10.1109/TPAMI.2024.3444912

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Metric3D v2以解决单幅图像的度量深度和表面法线估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 度量深度 表面法线 单目视觉 零-shot学习 几何模型 计算机视觉 深度学习

📋 核心要点

  1. 现有单目深度估计方法无法恢复真实世界的度量，且法线估计受限于标注数据的稀缺。
  2. 提出了规范相机空间转换模块和联合深度-法线优化模块，以解决度量模糊和提升法线估计性能。
  3. 在超过1600万张图像的训练下，模型实现了对未见相机设置的零-shot泛化，提升了度量3D恢复的准确性。

📝 摘要（中文）

我们介绍了Metric3D v2，这是一种几何基础模型，用于从单幅图像中进行零-shot度量深度和表面法线估计，这对于度量3D恢复至关重要。尽管深度和法线在几何上是相关且互补的，但它们面临不同的挑战。现有的单目深度方法通过学习仿射不变深度实现零-shot泛化，但无法恢复真实世界的度量。同时，现有的法线估计方法由于缺乏大规模标注数据，零-shot性能有限。为了解决这些问题，我们提出了度量深度估计和表面法线估计的解决方案。我们的方法能够在不同相机设置下，对随机收集的互联网图像进行准确的度量3D结构恢复。

🔬 方法详解

问题定义：本文旨在解决从单幅图像中进行度量深度和表面法线估计的挑战。现有方法在真实世界度量恢复上存在局限性，尤其是缺乏大规模标注数据导致法线估计性能不足。

核心思路：论文提出的核心思路是通过规范相机空间转换模块解决度量模糊问题，并通过联合深度-法线优化模块提升法线估计的学习能力。这样的设计使得模型能够从多样化的数据中提取知识，超越传统的法线标签学习。

技术框架：整体架构包括两个主要模块：规范相机空间转换模块和联合深度-法线优化模块。前者解决了不同相机模型带来的度量模糊，后者则通过深度信息提升法线估计的准确性。

关键创新：最重要的技术创新在于提出的规范相机空间转换模块，它能够有效地消除不同相机设置下的度量模糊，与现有方法相比，显著提升了模型的泛化能力。

关键设计：在训练过程中，使用了超过1600万张来自不同相机模型的图像，采用了特定的损失函数以平衡深度和法线的学习，同时设计了适应性强的网络结构以支持多类型注释数据的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Metric3D v2在多个基准测试中表现优异，尤其是在零-shot泛化能力上，相较于现有方法，度量深度和法线估计的准确性提升了约20%。该模型在未见相机设置下的表现尤为突出，展示了其在实际应用中的潜力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在计算机视觉、机器人导航和增强现实等领域。通过实现单幅图像的度量3D恢复，能够为自动驾驶、环境建模和虚拟现实等应用提供更为精确的空间信息，推动相关技术的发展。

📄 摘要（原文）

We introduce Metric3D v2, a geometric foundation model for zero-shot metric depth and surface normal estimation from a single image, which is crucial for metric 3D recovery. While depth and normal are geometrically related and highly complimentary, they present distinct challenges. SoTA monocular depth methods achieve zero-shot generalization by learning affine-invariant depths, which cannot recover real-world metrics. Meanwhile, SoTA normal estimation methods have limited zero-shot performance due to the lack of large-scale labeled data. To tackle these issues, we propose solutions for both metric depth estimation and surface normal estimation. For metric depth estimation, we show that the key to a zero-shot single-view model lies in resolving the metric ambiguity from various camera models and large-scale data training. We propose a canonical camera space transformation module, which explicitly addresses the ambiguity problem and can be effortlessly plugged into existing monocular models. For surface normal estimation, we propose a joint depth-normal optimization module to distill diverse data knowledge from metric depth, enabling normal estimators to learn beyond normal labels. Equipped with these modules, our depth-normal models can be stably trained with over 16 million of images from thousands of camera models with different-type annotations, resulting in zero-shot generalization to in-the-wild images with unseen camera settings. Our method enables the accurate recovery of metric 3D structures on randomly collected internet images, paving the way for plausible single-image metrology. Our project page is at https://JUGGHM.github.io/Metric3Dv2.