Generative Structure from Motion with Native 3D Diffusion

📄 arXiv: 2610.35522v1 📥 PDF

作者: Haobin Duan, Binbin Huang, Mochu Xiang, Yiqun Zhao, Zibo Zhao, Yi Ma, Shenghua Gao

分类: cs.CV, cs.AI

发布日期: 2026-10-26

备注: Accepted to NeurIPS 2026. Project page: https://dotb1ue.github.io/GenSfm/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GenSfM以解决3D结构与相机运动恢复问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 计算机视觉 扩散模型 多模态学习 姿态估计

📋 核心要点

  1. 现有的运动结构方法无法恢复未观察到的区域，导致生成的3D对象与输入图像不一致。
  2. GenSfM通过结合图像重建与3D扩散模型，利用多模态扩散变换器实现形状与姿态的联合去噪。
  3. 在Toys4k和GSO数据集上，GenSfM在新视图PSNR上提升3.2-4.5 dB，且姿态恢复准确率超过96%。

📝 摘要（中文）

从少量未标定视图中恢复物体的3D结构和相机运动是计算机视觉中的基本问题。传统的运动结构方法只能恢复与输入图像一致的3D几何形状，但无法处理未观察到的区域；而原生生成方法则生成与输入图像相关但不一定忠实的3D对象。本文提出的GenSfM方法将基于图像的3D重建与原生3D扩散模型相结合，利用多模态扩散变换器在共享自注意力下联合去噪形状潜变量和每视图姿态潜变量，确保生成的几何形状与观察到的视图相结合，同时使用对象级先验推断未观察区域。实验结果表明，GenSfM在Toys4k和GSO数据集上显著提高了新视图的PSNR，并在姿态恢复上表现出色。

🔬 方法详解

问题定义：本文旨在解决从少量未标定视图中恢复物体的3D结构和相机运动的问题。现有方法在处理未观察区域时存在显著不足，导致生成的3D对象与输入图像不一致。

核心思路：GenSfM的核心思路是将基于图像的3D重建与原生3D扩散模型相结合，通过多模态扩散变换器实现形状和姿态的联合去噪，从而确保生成的几何形状与观察到的视图相一致。

技术框架：该方法的整体架构包括多个模块，首先通过图像重建获取初步的3D结构，然后利用扩散模型对形状和姿态进行联合去噪，最后通过姿态感知阶段对几何和纹理进行精细化处理。

关键创新：GenSfM的主要创新在于引入了多模态扩散变换器，使得形状和姿态的去噪过程能够在共享自注意力机制下进行，从而有效地减少了重建和生成阶段之间的误差传播。

关键设计：在设计中，采用了紧凑的3D原生UV体积标记化方法，以保持联合序列的小规模，并在姿态感知阶段通过在恢复的相机姿态下采样每个体素的图像特征来优化几何和纹理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GenSfM在Toys4k和GSO数据集上表现出色，针对4个未标定视图，PSNR提升了3.2至4.5 dB，且中位Chamfer距离减少了2.8至3.8倍，显示出其在3D生成和重建方面的显著优势。

🎯 应用场景

该研究在计算机视觉领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和机器人导航等场景中。通过高效恢复3D结构和相机运动，GenSfM可以为自动化建模和环境理解提供支持，推动相关技术的发展与应用。

📄 摘要（原文）

Recovering an object's 3D structure and camera motion from a few uncalibrated views is a fundamental problem in computer vision. Classical structure from motion methods recover 3D geometry consistent with the input images but cannot recover unseen regions; native generation methods produce plausible 3D objects which are related but not necessarily faithful to the input images. Methods simply concatenating reconstruction and generation allow error to cascade across the two stages, instead of producing a 3D object consistent with both the distribution and the input. We propose GenSfM, which integrates image-based 3D reconstruction with a native 3D diffusion model. In particular, we use a multi-modal diffusion transformer to jointly denoise the shape latent and per-view pose latents under shared self-attention, grounding generated geometry in the observed views while using object-level priors to infer unobserved regions. A compact 3D-native UV-volume tokenization keeps the joint sequence small as views are added, and a pose-aware stage refines geometry and texture by sampling per-voxel image features at the recovered camera poses. On Toys4k and GSO, for $4$ uncalibrated views, GenSfM improves novel-view PSNR by $3.2$-$4.5$ dB and reduces median Chamfer distance by $2.8$-$3.8\times$ over a strong native-3D generation baseline, while recovering input-view poses over $96\%$ Acc@$5^\circ$ without any external pose-estimation backbone, post-hoc optimization, or known intrinsics. Project page: https://dotb1ue.github.io/GenSfm/.