MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images

📄 arXiv: 2403.14627v2 📥 PDF

作者: Yuedong Chen, Haofei Xu, Chuanxia Zheng, Bohan Zhuang, Marc Pollefeys, Andreas Geiger, Tat-Jen Cham, Jianfei Cai

分类: cs.CV

发布日期: 2024-03-21 (更新: 2024-07-18)

备注: ECCV2024, Project page: https://donydchen.github.io/mvsplat, Code: https://github.com/donydchen/mvsplat

DOI: 10.1007/978-3-031-72664-4_21

💡 一句话要点

提出MVSplat以解决稀疏多视图图像的3D高斯建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯建模 多视图学习 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在处理稀疏多视图图像时，难以准确估计3D结构，尤其是在高斯建模方面存在局限。
  2. MVSplat通过构建成本体积表示，利用跨视图特征相似性来提高高斯中心的定位精度，同时联合学习其他高斯参数。
  3. 在RealEstate10K和ACID基准测试中，MVSplat在推理速度和模型参数效率上均显著优于现有方法，表现出色。

📝 摘要（中文）

我们提出了MVSplat，这是一种高效的模型，能够根据稀疏多视图图像预测干净的前馈3D高斯。为了准确定位高斯中心，我们通过平面扫描构建了成本体积表示，其中存储的跨视图特征相似性为深度估计提供了有价值的几何线索。我们还在仅依赖光度监督的情况下，联合学习其他高斯原语的参数与高斯中心。通过大量实验评估，我们展示了成本体积表示在学习前馈高斯中的重要性。在大规模的RealEstate10K和ACID基准测试中，MVSplat实现了最先进的性能，且前馈推理速度最快（22 fps）。更令人印象深刻的是，与最新的最先进方法pixelSplat相比，MVSplat使用了10倍更少的参数，并且推理速度超过2倍，同时提供了更高的外观和几何质量以及更好的跨数据集泛化能力。

🔬 方法详解

问题定义：本论文旨在解决稀疏多视图图像中3D高斯建模的准确性问题。现有方法在高斯中心定位和几何信息提取方面存在不足，导致重建质量不高。

核心思路：MVSplat的核心思路是通过构建成本体积表示，利用跨视图特征相似性来提供几何线索，从而更准确地估计高斯中心及其参数。这样的设计使得模型能够在光度监督下有效学习。

技术框架：MVSplat的整体架构包括成本体积的构建、特征相似性的提取以及高斯参数的联合学习。首先，通过平面扫描生成成本体积，然后利用该体积中的信息进行高斯中心的定位和参数学习。

关键创新：MVSplat的主要创新在于成本体积表示的引入，使得模型能够在稀疏输入下仍然获得高质量的3D重建。这一方法与传统的像素级处理方法相比，显著提高了效率和准确性。

关键设计：在模型设计中，MVSplat采用了特定的损失函数来优化高斯中心和其他参数的学习，同时通过减少模型参数数量（使用10倍更少的参数）来提升推理速度和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MVSplat在RealEstate10K和ACID基准测试中表现出色，达到了22 fps的推理速度，使用了10倍更少的参数，并且在外观和几何质量上均优于最新的pixelSplat方法，显示出超过2倍的推理速度提升和更好的跨数据集泛化能力。

🎯 应用场景

MVSplat在计算机视觉领域具有广泛的应用潜力，尤其是在3D重建、虚拟现实和增强现实等场景中。其高效的推理速度和优越的重建质量使其能够在实时应用中发挥重要作用，未来可能推动相关技术的进一步发展和普及。

📄 摘要（原文）

We introduce MVSplat, an efficient model that, given sparse multi-view images as input, predicts clean feed-forward 3D Gaussians. To accurately localize the Gaussian centers, we build a cost volume representation via plane sweeping, where the cross-view feature similarities stored in the cost volume can provide valuable geometry cues to the estimation of depth. We also learn other Gaussian primitives' parameters jointly with the Gaussian centers while only relying on photometric supervision. We demonstrate the importance of the cost volume representation in learning feed-forward Gaussians via extensive experimental evaluations. On the large-scale RealEstate10K and ACID benchmarks, MVSplat achieves state-of-the-art performance with the fastest feed-forward inference speed (22~fps). More impressively, compared to the latest state-of-the-art method pixelSplat, MVSplat uses $10\times$ fewer parameters and infers more than $2\times$ faster while providing higher appearance and geometry quality as well as better cross-dataset generalization.