M2Depth: Unifying Monocular Depth Foundation Priors with Multi-View Stereo

📄 arXiv: 2608.20788v1 📥 PDF

作者: Byeonggwon Lee, Sanggi Lee, Siwoo Lee, Khang Truong Giang, Soohwan Song

分类: cs.CV

发布日期: 2026-08-21

💡 一句话要点

提出M2Depth以解决多视图立体视觉中的深度预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度学习 多视图立体视觉 单目深度预测 深度基础模型 互相精炼策略 几何一致性 自动驾驶 三维重建

📋 核心要点

  1. 现有的多视图立体视觉方法在未见场景中表现不佳，尤其是在遮挡和视角重叠有限的区域。
  2. 本文提出了一种新框架，通过双向互相精炼策略，将深度基础模型与级联MVS管道结合，充分利用两者的优势。
  3. 实验结果显示，该方法在标准基准上超越了现有的MVS方法，生成的深度图更加完整且具有更好的边界清晰度。

📝 摘要（中文）

基于深度学习的多视图立体视觉（MVS）取得了显著进展，但在未见场景中，尤其是在遮挡区域或视角重叠有限的区域，通常表现不佳。为了解决这一问题，近期方法将深度基础模型（DFMs）集成到MVS流程中，以提供单目深度先验。然而，现有方法通常依赖静态的单向融合方案，未能充分利用两种模态的互补优势。我们提出了一种新颖的框架，通过双向互相精炼策略，将DFM与级联MVS管道紧密结合。该方法利用MVS深度来解决单目预测中的尺度模糊，同时单目深度又增强了MVS估计的结构完整性和细节。实验表明，我们的方法在标准基准上超越了最先进的MVS方法，生成了更完整且具有锐利边界的深度图。

🔬 方法详解

问题定义：本文旨在解决现有多视图立体视觉方法在未见场景中的泛化能力不足，特别是在遮挡和视角重叠有限的区域表现不佳的问题。

核心思路：我们提出的框架通过双向互相精炼策略，紧密结合深度基础模型（DFM）与级联MVS管道，利用MVS深度来消除单目预测中的尺度模糊，同时提升MVS估计的结构完整性和细节。

技术框架：整体架构包括两个主要模块：DFM模块和MVS模块。DFM模块提供单目深度先验，而MVS模块则通过多视图信息进行深度估计。两者通过双向互相精炼机制进行信息交换和优化。

关键创新：最重要的创新在于双向互相精炼策略的引入，使得DFM和MVS之间的融合更加紧密，充分发挥了两者的互补优势。这一方法与现有的静态单向融合方案本质上不同。

关键设计：在技术细节上，我们引入了基于注意力的融合机制和离散深度箱的先验引导成本体积精炼，促进了局部几何一致性。此外，损失函数的设计也考虑了深度估计的准确性和结构完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，M2Depth在标准基准上超越了最先进的MVS方法，生成的深度图在完整性和边界清晰度上有显著提升。具体而言，相较于基线方法，深度图的准确性提高了XX%，并且在稀疏视图设置下表现出色，展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够为这些领域提供更准确的深度信息，提升系统的环境理解能力。未来，该方法可能在多视图重建和三维场景理解等方面产生深远影响。

📄 摘要（原文）

Deep learning-based Multi-View Stereo (MVS) has advanced significantly but often generalizes poorly to unseen scenes, particularly in occluded areas or regions with limited view overlap. To mitigate this, recent approaches integrate Depth Foundation Models (DFMs) into MVS pipelines to provide monocular depth priors. However, existing methods typically rely on a static, one-way fusion scheme, which fails to fully exploit the complementary strengths of both modalities. We propose a novel framework that overcomes this limitation by tightly coupling a DFM with a cascade MVS pipeline through a bidirectional mutual refinement strategy. Our method leverages MVS depth to resolve the scale ambiguity in monocular predictions, while the monocular depth, in turn, enhances the structural completeness and fine-grained detail of the MVS estimate. Furthermore, we introduce a prior-guided cost volume refinement mechanism that effectively integrates multi-view and monocular information via attention-based fusion and discretized depth bins, thereby promoting local geometric consistency. Extensive experiments demonstrate that our method outperforms state-of-the-art MVS approaches on standard benchmarks, producing more complete and generalizable depth maps with sharp boundaries. Furthermore, although not explicitly designed for sparse-view settings, our framework generalizes remarkably well, competing favorably with even dedicated sparse-view methods while maintaining a superior accuracy-efficiency trade-off.