SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model

📄 arXiv: 2403.08556v2 📥 PDF

作者: Yihao Liu, Feng Xue, Anlong Ming, Mingshuai Zhao, Huadong Ma, Nicu Sebe

分类: cs.CV, cs.AI

发布日期: 2024-03-13 (更新: 2024-08-15)

备注: Accepted by ACM MultiMedia 24, Project Page: xuefeng-cvr.github.io/SM4Depth

🔗 代码/项目: GITHUB

💡 一句话要点

提出SM4Depth以解决单目度量深度估计的场景适应性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目深度估计 度量尺度建模 深度学习 室内外场景 数据集构建 模型优化 计算机视觉

📋 核心要点

  1. 现有的单目度量深度估计方法在不同场景中准确性不一致，且依赖于大量的场景特定参数和预训练。
  2. 本文提出了一种新颖的度量尺度建模方法和“分而治之”的解决方案，以减少对庞大训练数据的依赖。
  3. SM4Depth在仅使用150K RGB-D对的情况下，能够在多个未见过的数据集上实现优异的性能，尤其在室内和室外场景中保持一致的准确性。

📝 摘要（中文）

在过去一年中，通用单目度量深度估计（MMDE）受到广泛关注，成为多媒体任务的基础模型。然而，现有方法在不同场景中保持一致准确性面临挑战，且依赖于庞大的训练数据集，导致时间和硬件成本高昂。本文提出SM4Depth模型，能够无缝适用于室内和室外场景，无需大量训练数据和GPU集群。通过提出基于变异的未归一化深度区间，减少了传统度量区间的模糊性，并引入“分而治之”的解决方案，降低对海量训练数据的依赖。SM4Depth在仅使用150K RGB-D对的情况下，在未见过的数据集上表现出色，尤其在室内和室外场景中保持一致的准确性。

🔬 方法详解

问题定义：本文旨在解决单目度量深度估计在不同场景中准确性不一致的问题。现有方法通常需要大量的训练数据和场景特定参数，限制了其实用性。

核心思路：论文提出了一种基于变异的未归一化深度区间的度量尺度建模方法，旨在减少传统度量区间的模糊性，从而更好地适应场景中的大深度差距。同时，采用“分而治之”的策略，降低对海量训练数据的依赖。

技术框架：整体架构包括两个主要模块：1) 变异基础的深度区间建模；2) 从多个解决子空间估计度量区间。通过这种方式，模型能够在不同场景中保持一致的深度估计。

关键创新：最重要的创新在于提出的变异基础未归一化深度区间和“分而治之”的解决方案，这与现有方法的依赖于庞大数据集的方式形成了本质区别。

关键设计：模型在训练过程中使用了150K RGB-D对，采用了特定的损失函数和网络结构，以确保在不同场景中的深度估计准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SM4Depth在多个未见过的数据集上表现出色，尤其是在室内和室外场景中保持一致的准确性。该模型在仅使用150K RGB-D对的情况下，显著降低了对庞大训练数据的依赖，展现出优异的性能和实用性。

🎯 应用场景

SM4Depth的研究成果在多个领域具有潜在应用价值，包括虚拟现实、增强现实、自动驾驶和机器人导航等。其高效的深度估计能力能够为这些应用提供更准确的环境感知，提升用户体验和系统性能。未来，随着技术的进一步发展，SM4Depth有望在更多实际场景中得到应用。

📄 摘要（原文）

In the last year, universal monocular metric depth estimation (universal MMDE) has gained considerable attention, serving as the foundation model for various multimedia tasks, such as video and image editing. Nonetheless, current approaches face challenges in maintaining consistent accuracy across diverse scenes without scene-specific parameters and pre-training, hindering the practicality of MMDE. Furthermore, these methods rely on extensive datasets comprising millions, if not tens of millions, of data for training, leading to significant time and hardware expenses. This paper presents SM$^4$Depth, a model that seamlessly works for both indoor and outdoor scenes, without needing extensive training data and GPU clusters. Firstly, to obtain consistent depth across diverse scenes, we propose a novel metric scale modeling, i.e., variation-based unnormalized depth bins. It reduces the ambiguity of the conventional metric bins and enables better adaptation to large depth gaps of scenes during training. Secondly, we propose a "divide and conquer" solution to reduce reliance on massive training data. Instead of estimating directly from the vast solution space, the metric bins are estimated from multiple solution sub-spaces to reduce complexity. Additionally, we introduce an uncut depth dataset, BUPT Depth, to evaluate the depth accuracy and consistency across various indoor and outdoor scenes. Trained on a consumer-grade GPU using just 150K RGB-D pairs, SM$^4$Depth achieves outstanding performance on the most never-before-seen datasets, especially maintaining consistent accuracy across indoors and outdoors. The code can be found https://github.com/mRobotit/SM4Depth.