DepthMaster: Unified Monocular Depth Estimation for Perspective and Panoramic Images

📄 arXiv: 2606.12368v1 📥 PDF

作者: Pengfei Wang, Shihao Wang, Liyi Chen, Zhiyuan Ma, Guowen Zhang, Lei Zhang

分类: cs.CV

发布日期: 2026-06-10

💡 一句话要点

提出DepthMaster以解决单目深度估计在不同视角下的挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 全景图像 透视补丁 几何一致性 Transformer架构 虚拟投影相机 深度学习 计算机视觉

📋 核心要点

  1. 现有单目深度估计方法通常针对特定相机类型，难以在不同视角下实现准确的度量深度。
  2. 本文提出DepthMaster，通过将全景图像分解为透视补丁，并引入虚拟投影相机，解决了几何差异问题。
  3. DepthMaster在仅使用一个全景数据集的情况下，达到了13个数据集上的最先进零-shot性能，超越了多种基线模型。

📝 摘要（中文）

尽管单目深度估计取得了显著进展，但在狭窄视场和360度全景图像中实现通用的度量深度估计仍然是一个未解决的挑战。现有方法通常针对特定相机类型，难以在多种设置中产生准确的度量深度。为此，本文提出了DepthMaster，一个统一的度量深度估计框架，通过将全景图像分解为重叠的透视补丁，克服了透视和全景相机之间的几何差异，并通过引入虚拟投影相机作为几何先验，避免了专门的操作，保持了与标准Transformer设计的兼容性。DepthMaster在仅包含一个全景数据集的混合数据集上训练，实现了在13个多样化数据集上的零-shot性能，超越了通用方法和领先的专业模型。

🔬 方法详解

问题定义：本文旨在解决单目深度估计在狭窄视场和360度全景图像中的通用性问题。现有方法往往针对特定相机类型，导致在不同设置下的度量深度估计不准确。

核心思路：DepthMaster通过将全景图像分解为重叠的透视补丁，重新定义了深度估计问题。此设计使得模型能够在不依赖专门网络的情况下，处理几何差异并利用丰富的透视数据集。

技术框架：DepthMaster的整体架构包括图像分解模块、补丁拼接模块和深度估计模块。图像分解模块将全景图像分解为多个透视补丁，补丁拼接模块利用引入的虚拟投影相机进行几何对齐，深度估计模块则基于Transformer架构进行深度预测。

关键创新：本文的主要创新在于引入了对应一致性损失（CCL）和虚拟投影相机，解决了传统方法在处理边界时的不足，避免了专门的网络设计。

关键设计：DepthMaster的损失函数包括对应一致性损失，确保补丁间的深度一致性。此外，网络结构保持与标准Transformer设计的兼容性，允许模型在多种数据集上进行有效训练。

📊 实验亮点

DepthMaster在仅使用一个全景数据集的情况下，达到了13个不同数据集上的零-shot性能，超越了多种基线模型，展现出在透视和全景领域的优越性，具体性能提升幅度达到XX%。

🎯 应用场景

DepthMaster的研究成果在自动驾驶、机器人视觉和虚拟现实等领域具有广泛的应用潜力。通过提供准确的深度估计，能够提升环境感知能力，增强人机交互体验，并推动相关技术的发展。

📄 摘要（原文）

While monocular depth estimation has achieved significant progress, achieving generalized metric depth estimation for both narrow field-of-view (FoV) perspectives and $360^\circ$ panoramas remains an unsolved challenge. Existing methods are often tailored to specific camera types and struggle to produce accurate metric depth that generalizes across diverse settings. This limitation stems from two key challenges: the inherent geometric discrepancy between perspective and panoramic cameras, and the scarcity of panoramic training data with metric annotations. In this work, we introduce DepthMaster, a unified metric depth estimation framework. Rather than employing specialized networks to learn spherical distortions, we reformulate the problem by decomposing panoramic images into overlapping perspective patches. Crucially, distinct from prior projection-based methods that rely on ad-hoc architectural modifications to handle boundaries, we introduce a novel Correspondence Consistency Loss (CCL) and inject virtual projection cameras as geometric priors, allowing us to seamlessly stitch the patches while avoiding specialized operators and keeping the backbone largely compatible with standard Transformer designs. This strategy also resolves the geometric differences by unifying all inputs into a canonical perspective representation, and effectively circumvents data scarcity by directly unlocking powerful metric priors from vast perspective datasets. Trained on a mixed dataset that contains only one panorama dataset, DepthMaster achieves state-of-the-art zero-shot performance on 13 diverse datasets, outperforming not only universal methods but also leading specialist models in both perspective and panoramic domains.