UniDepth: Universal Monocular Metric Depth Estimation
作者: Luigi Piccinelli, Yung-Hsu Yang, Christos Sakaridis, Mattia Segu, Siyuan Li, Luc Van Gool, Fisher Yu
分类: cs.CV
发布日期: 2024-03-27
🔗 代码/项目: GITHUB
💡 一句话要点
提出UniDepth以解决单目度量深度估计的通用性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 3D感知 几何不变性 深度学习 计算机视觉
📋 核心要点
- 现有的单目度量深度估计方法在未见域中的泛化能力不足，限制了其在实际应用中的有效性。
- UniDepth通过直接从输入图像预测度量3D点，避免了对额外信息的依赖，提供了一种通用的解决方案。
- 在十个数据集的零-shot评估中，UniDepth展现出优越的性能，超越了许多在测试域上训练的方法。
📝 摘要（中文）
准确的单目度量深度估计（MMDE）对于3D感知和建模的下游任务至关重要。然而，现有MMDE方法的高准确性仅限于其训练域，无法在未见域中有效泛化，限制了其实际应用。为此，本文提出了一种新模型UniDepth，能够仅通过单幅图像在不同域中重建度量3D场景。UniDepth在推理时直接从输入图像预测度量3D点，无需额外信息，力求实现通用和灵活的MMDE解决方案。该模型实现了自提示相机模块，预测密集的相机表示以条件深度特征，并提出了一种几何不变性损失，促进相机提示深度特征的不变性。对十个数据集的零-shot评估显示，UniDepth的性能优越，甚至超越了直接在测试域上训练的方法。
🔬 方法详解
问题定义：本文旨在解决单目度量深度估计（MMDE）在不同训练和测试域之间的泛化能力不足的问题。现有方法在未见域中表现不佳，限制了其实际应用。
核心思路：UniDepth的核心思路是直接从输入图像中预测度量3D点，而不依赖于额外的信息。这种设计使得模型在不同域中具有更好的适应性和灵活性。
技术框架：UniDepth的整体架构包括一个自提示相机模块和一个伪球面输出表示。自提示相机模块用于预测密集的相机表示，以条件深度特征，而伪球面输出则将相机和深度表示解耦。
关键创新：UniDepth的主要创新在于引入了几何不变性损失，促进了相机提示深度特征的不变性。这一设计与现有方法的本质区别在于其不依赖于特定的训练域，增强了模型的通用性。
关键设计：在模型设计中，UniDepth采用了伪球面输出表示，优化了相机和深度特征的解耦。此外，几何不变性损失的引入有效提升了深度特征的稳定性和准确性。具体的网络结构和损失函数设置在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在十个数据集的零-shot评估中，UniDepth展现出显著的性能提升，相比于直接在测试域上训练的方法，其准确性提高了XX%。这一结果证明了其在不同域中的优越泛化能力。
🎯 应用场景
UniDepth的研究成果在多个领域具有潜在应用价值，包括自动驾驶、机器人导航和增强现实等。通过提供更为准确和通用的深度估计，UniDepth能够提升3D感知系统的性能，推动相关技术的进步和应用落地。
📄 摘要（原文）
Accurate monocular metric depth estimation (MMDE) is crucial to solving downstream tasks in 3D perception and modeling. However, the remarkable accuracy of recent MMDE methods is confined to their training domains. These methods fail to generalize to unseen domains even in the presence of moderate domain gaps, which hinders their practical applicability. We propose a new model, UniDepth, capable of reconstructing metric 3D scenes from solely single images across domains. Departing from the existing MMDE methods, UniDepth directly predicts metric 3D points from the input image at inference time without any additional information, striving for a universal and flexible MMDE solution. In particular, UniDepth implements a self-promptable camera module predicting dense camera representation to condition depth features. Our model exploits a pseudo-spherical output representation, which disentangles camera and depth representations. In addition, we propose a geometric invariance loss that promotes the invariance of camera-prompted depth features. Thorough evaluations on ten datasets in a zero-shot regime consistently demonstrate the superior performance of UniDepth, even when compared with methods directly trained on the testing domains. Code and models are available at: https://github.com/lpiccinelli-eth/unidepth