SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical Refinement and EM optimization

📄 arXiv: 2401.06385v2 📥 PDF

作者: Zhenlong Yuan, Jiakai Cao, Zhaoxin Li, Hao Jiang, Zhaoqi Wang

分类: cs.CV

发布日期: 2024-01-12 (更新: 2025-11-25)

备注: Published to AAAI2024

💡 一句话要点

提出SD-MVS以解决无纹理区域3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 多视图立体 语义分割 补丁变形 期望最大化 无纹理区域 模型完整性

📋 核心要点

  1. 现有方法在无纹理区域的3D重建中面临匹配困难和模型完整性不足的问题。
  2. 论文提出的SD-MVS方法通过引入SAM进行语义分割，并进行像素级补丁变形，从而改善重建效果。
  3. 实验结果显示，SD-MVS在多个基准数据集上表现出色，且时间消耗显著低于现有方法。

📝 摘要（中文）

本文介绍了一种名为分割驱动变形多视图立体(SD-MVS)的方法，旨在有效应对无纹理区域的3D重建挑战。我们首次采用Segment Anything Model(SAM)来区分场景中的语义实例，并利用这些约束进行像素级补丁变形，改善匹配成本和传播。同时，我们提出了一种独特的精细化策略，结合球坐标系和法线的梯度下降，显著提高了重建3D模型的完整性。此外，我们采用期望最大化(EM)算法交替优化聚合匹配成本和超参数，有效减轻了参数过度依赖经验调优的问题。在ETH3D高分辨率多视图立体基准和Tanks and Temples数据集上的评估表明，我们的方法在减少时间消耗的同时，能够实现最先进的结果。

🔬 方法详解

问题定义：本文旨在解决无纹理区域3D重建中的匹配困难和模型完整性不足的问题。现有方法在处理这些区域时，往往无法提供准确的深度信息和完整的模型结构。

核心思路：SD-MVS方法的核心在于利用Segment Anything Model(SAM)进行语义实例的分割，并通过这些分割信息进行像素级的补丁变形，从而提高匹配精度和重建质量。

技术框架：该方法的整体架构包括三个主要模块：语义分割模块、补丁变形模块和精细化优化模块。首先，使用SAM进行场景分割，然后基于分割结果进行补丁的像素级变形，最后通过EM算法进行参数优化。

关键创新：最重要的技术创新在于将SAM与像素级补丁变形相结合，首次实现了在无纹理区域的有效3D重建，显著提升了模型的完整性和准确性。

关键设计：在参数设置上，采用了基于球坐标的法线梯度下降方法，并设计了适应性的像素搜索区间，以优化深度信息的获取。损失函数的设计也考虑了匹配成本的聚合，确保了优化过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ETH3D高分辨率多视图立体基准和Tanks and Temples数据集上的实验结果表明，SD-MVS方法在重建质量上达到了最先进的水平，且在时间消耗上显著低于现有方法，展示了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够为无纹理区域的3D重建提供更为准确和高效的解决方案。未来，该方法有望推动相关领域的技术进步，提升3D重建的整体性能和应用范围。

📄 摘要（原文）

In this paper, we introduce Segmentation-Driven Deformation Multi-View Stereo (SD-MVS), a method that can effectively tackle challenges in 3D reconstruction of textureless areas. We are the first to adopt the Segment Anything Model (SAM) to distinguish semantic instances in scenes and further leverage these constraints for pixelwise patch deformation on both matching cost and propagation. Concurrently, we propose a unique refinement strategy that combines spherical coordinates and gradient descent on normals and pixelwise search interval on depths, significantly improving the completeness of reconstructed 3D model. Furthermore, we adopt the Expectation-Maximization (EM) algorithm to alternately optimize the aggregate matching cost and hyperparameters, effectively mitigating the problem of parameters being excessively dependent on empirical tuning. Evaluations on the ETH3D high-resolution multi-view stereo benchmark and the Tanks and Temples dataset demonstrate that our method can achieve state-of-the-art results with less time consumption.