DepthMaster: Unified Monocular Depth Estimation for Perspective and Panoramic Images

📄 arXiv: 2606.12368 📥 PDF

作者: Pengfei Wang, Shihao Wang, Liyi Chen, Zhiyuan Ma, Guowen Zhang, Lei Zhang

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出DepthMaster以解决单目深度估计在透视与全景图像中的通用性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 全景图像 透视图像 几何一致性 深度学习 Transformer 计算机视觉

📋 核心要点

  1. 现有单目深度估计方法通常针对特定相机类型，难以在透视与全景图像中实现通用的度量深度估计。
  2. 本文提出DepthMaster，通过将全景图像分解为重叠的透视补丁，解决几何差异并引入虚拟投影相机作为先验。
  3. DepthMaster在仅使用一个全景数据集的混合数据集上训练，达到了13个数据集上的零-shot性能，超越了现有方法。

📝 摘要（中文）

尽管单目深度估计取得了显著进展，但在狭窄视场透视图像和360度全景图像中实现通用的度量深度估计仍然是一个未解决的挑战。现有方法通常针对特定相机类型，难以在多样化设置中产生准确的度量深度。为此，本文提出DepthMaster，一个统一的度量深度估计框架，通过将全景图像分解为重叠的透视补丁，克服了透视与全景相机之间的几何差异，并通过引入虚拟投影相机作为几何先验，避免了专门的操作。DepthMaster在仅包含一个全景数据集的混合数据集上训练，达到了13个多样化数据集上的零-shot性能，超越了通用方法和领先的专业模型。

🔬 方法详解

问题定义：本文旨在解决单目深度估计在透视与全景图像中的通用性问题。现有方法往往针对特定相机类型，难以在不同设置中产生准确的度量深度，主要由于透视与全景相机之间的几何差异和缺乏标注的全景训练数据。

核心思路：DepthMaster通过将全景图像分解为重叠的透视补丁，重新定义了深度估计问题。这种方法避免了专门的网络设计，利用虚拟投影相机作为几何先验，从而实现了补丁的无缝拼接。

技术框架：DepthMaster的整体架构包括图像分解模块、补丁拼接模块和深度估计模块。首先，将全景图像分解为多个重叠的透视补丁，然后通过引入Correspondence Consistency Loss (CCL)来优化补丁的拼接，最后进行深度估计。

关键创新：最重要的创新点在于引入了Correspondence Consistency Loss (CCL)和虚拟投影相机，这使得模型能够在不依赖专门操作的情况下处理几何差异，并保持与标准Transformer设计的兼容性。

关键设计：在网络结构上，DepthMaster保持了与标准Transformer的兼容性，关键损失函数为CCL，确保了补丁之间的一致性。模型训练使用了一个混合数据集，其中仅包含一个全景数据集，以有效利用丰富的透视数据集中的度量先验。

📊 实验亮点

DepthMaster在仅使用一个全景数据集的混合数据集上训练，达到了13个不同数据集上的零-shot性能，超越了现有的通用方法和领先的专业模型，展示了其在透视和全景领域的优越性。

🎯 应用场景

DepthMaster的研究成果在多个领域具有潜在应用价值，包括自动驾驶、机器人导航和虚拟现实等。通过实现高效的深度估计，该框架能够提升环境感知能力，促进智能系统的自主决策和交互能力。未来，DepthMaster的技术可以进一步扩展到更多类型的图像和场景中，推动相关领域的发展。

📄 摘要（原文）

While monocular depth estimation has achieved significant progress, achieving generalized metric depth estimation for both narrow field-of-view (FoV) perspectives and $360^\circ$ panoramas remains an unsolved challenge. Existing methods are often tailored to specific camera types and struggle to produce accurate metric depth that generalizes across diverse settings. This limitation stems from two key challenges: the inherent geometric discrepancy between perspective and panoramic cameras, and the scarcity of panoramic training data with metric annotations. In this work, we introduce DepthMaster, a unified metric depth estimation framework. Rather than employing specialized networks to learn spherical distortions, we reformulate the problem by decomposing panoramic images into overlapping perspective patches. Crucially, distinct from prior projection-based methods that rely on ad-hoc architectural modifications to handle boundaries, we introduce a novel Correspondence Consistency Loss (CCL) and inject virtual projection cameras as geometric priors, allowing us to seamlessly stitch the patches while avoiding specialized operators and keeping the backbone largely compatible with standard Transformer designs. This strategy also resolves the geometric differences by unifying all inputs into a canonical perspective representation, and effectively circumvents data scarcity by directly unlocking powerful metric priors from vast perspective datasets. Trained on a mixed dataset that contains only one panorama dataset, DepthMaster achieves state-of-the-art zero-shot performance on 13 diverse datasets, outperforming not only universal methods but also leading specialist models in both perspective and panoramic domains.