MVD$^2$: Efficient Multiview 3D Reconstruction for Multiview Diffusion

📄 arXiv: 2402.14253v1 📥 PDF

作者: Xin-Yang Zheng, Hao Pan, Yu-Xiao Guo, Xin Tong, Yang Liu

分类: cs.CV, cs.GR

发布日期: 2024-02-22

💡 一句话要点

提出MVD$^2$以解决多视图扩散图像的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多视图扩散 3D重建 图像处理 深度学习 特征聚合

📋 核心要点

  1. 现有的多视图扩散方法在生成图像时存在视角稀疏和细节不一致的问题，导致3D重建的困难。
  2. MVD$^2$通过聚合图像特征并解码为3D网格，采用视图依赖的训练方案来提高生成质量。
  3. 在Zero-123++和ObjectVerse-LVIS 3D数据集上进行训练后，MVD$^2$在不同MVD方法生成的多视图图像上表现出优越的性能。

📝 摘要（中文）

多视图扩散（MVD）作为一种有前景的3D生成技术，因其在泛化能力、质量和效率方面的优势而受到广泛关注。MVD方法通过微调预训练的大型图像扩散模型，基于图像或文本提示生成3D物体的多个视图，并进行3D形状重建。然而，生成图像的稀疏视角和细节不一致使得3D重建变得具有挑战性。本文提出了MVD$^2$，一种高效的3D重建方法，能够处理MVD图像。MVD$^2$通过投影和卷积将图像特征聚合到3D特征体中，然后将体积特征解码为3D网格。我们设计了一种简单而高效的视图依赖训练方案，以解决生成的多视图图像与真实3D形状视图之间的差异。经过训练，MVD$^2$能够在一秒内高效解码3D网格。

🔬 方法详解

问题定义：本文旨在解决多视图扩散生成的图像在3D重建中存在的稀疏视角和细节不一致的问题。现有方法在处理这些生成图像时，往往难以获得准确的3D形状重建。

核心思路：MVD$^2$的核心思路是通过聚合多视图图像的特征，构建一个3D特征体，并利用视图依赖的训练策略来减少生成图像与真实视图之间的差异，从而提高3D重建的质量。

技术框架：MVD$^2$的整体架构包括特征聚合模块、3D特征体构建模块和3D网格解码模块。首先，通过投影和卷积将图像特征聚合到3D特征体中，然后将这些特征解码为3D网格。

关键创新：MVD$^2$的主要创新在于其视图依赖的训练方案，这一设计使得模型能够更好地适应生成图像的特性，从而显著提高3D生成质量。与现有方法相比，MVD$^2$在处理多视图图像时表现出更高的效率和鲁棒性。

关键设计：在训练过程中，MVD$^2$使用了特定的损失函数来优化生成图像与真实视图之间的相似性，同时在网络结构上采用了适合3D特征体处理的卷积层设计，以提高特征提取的效果。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，MVD$^2$在生成3D模型的速度和质量上均优于现有的多视图扩散方法。在不同MVD方法生成的多视图图像上，MVD$^2$能够在一秒内高效解码3D网格，显示出显著的性能提升。

🎯 应用场景

MVD$^2$在3D建模、虚拟现实和增强现实等领域具有广泛的应用潜力。其高效的3D重建能力可以为游戏开发、影视制作以及工业设计等行业提供更为精准和快速的3D模型生成解决方案，推动相关技术的发展与应用。

📄 摘要（原文）

As a promising 3D generation technique, multiview diffusion (MVD) has received a lot of attention due to its advantages in terms of generalizability, quality, and efficiency. By finetuning pretrained large image diffusion models with 3D data, the MVD methods first generate multiple views of a 3D object based on an image or text prompt and then reconstruct 3D shapes with multiview 3D reconstruction. However, the sparse views and inconsistent details in the generated images make 3D reconstruction challenging. We present MVD$^2$, an efficient 3D reconstruction method for multiview diffusion (MVD) images. MVD$^2$ aggregates image features into a 3D feature volume by projection and convolution and then decodes volumetric features into a 3D mesh. We train MVD$^2$ with 3D shape collections and MVD images prompted by rendered views of 3D shapes. To address the discrepancy between the generated multiview images and ground-truth views of the 3D shapes, we design a simple-yet-efficient view-dependent training scheme. MVD$^2$ improves the 3D generation quality of MVD and is fast and robust to various MVD methods. After training, it can efficiently decode 3D meshes from multiview images within one second. We train MVD$^2$ with Zero-123++ and ObjectVerse-LVIS 3D dataset and demonstrate its superior performance in generating 3D models from multiview images generated by different MVD methods, using both synthetic and real images as prompts.