UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

📄 arXiv: 2608.04701v1 📥 PDF

作者: Haiyang Zhou, Wangbo Yu, Chaoran Feng, Xunyu Zhou, Yonghong Tian, Li Yuan

分类: cs.CV

发布日期: 2026-08-05

备注: Project Homepage: https://zhouhyocean.github.io/uniworld-view/ Code: https://github.com/PKU-YuanGroup/UniWorld-View

💡 一句话要点

提出UniWorld-View以解决稀疏输入下的视图合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 视图合成 生成模型 扩散建模 三维重建 计算机视觉 深度学习

📋 核心要点

  1. 现有的重建方法在稀疏输入下表现不佳，无法有效处理遮挡，导致生成视图的几何一致性和光真实感不足。
  2. UniWorld-View通过结合显式3D几何指导与生成扩散建模，提供精确的相机控制和几何一致的视图生成。
  3. 在WorldScore基准和零样本NVS基准上的实验表明，UniWorld-View在可控性、几何一致性和视觉保真度方面表现优异。

📝 摘要（中文）

随着社交媒体上单目视频和图像的丰富，生成新视角的能力对沉浸式内容创作至关重要。然而，在输入覆盖极其有限的情况下，生成光真实且几何一致的视图仍然具有挑战性。重建方法如NeRF和3D高斯散点（3DGS）在稀疏输入下表现不佳，且无法有效处理遮挡问题。生成方法虽然减轻了数据需求，但在大基线视图合成中仍面临几何指导不准确的问题。为了解决这些限制，本文提出了UniWorld-View，一个统一框架，结合显式3D指导与生成扩散建模，实现可控的大基线新视图合成。通过遮挡感知的点云渲染策略，UniWorld-View能够在极端相机运动和宽基线变化下生成高保真新视图，并为后续的动态3DGS重建提供多视角视频。

🔬 方法详解

问题定义：本文旨在解决在稀疏输入条件下生成光真实且几何一致的新视图的问题。现有的重建方法如NeRF和3DGS在处理遮挡和稀疏输入时效果不佳，导致生成结果的质量下降。

核心思路：UniWorld-View的核心思路是将显式的3D几何指导与生成扩散建模相结合，以实现对相机控制的精确把握和几何一致的视图生成。通过这种设计，能够有效解决遮挡和视图合成中的可见性模糊问题。

技术框架：UniWorld-View的整体架构包括两个主要模块：首先是遮挡感知的点云渲染策略，用于生成准确的几何指导；其次是基于强大视频扩散模型的视图合成模块。整个流程通过这两个模块的协同作用，实现高保真度的新视图生成。

关键创新：本文的关键创新在于引入了遮挡感知的点云渲染策略，这一策略能够有效解决传统方法在稀疏输入下的可见性问题，从而提供更准确的几何指导。这一创新使得UniWorld-View在处理大基线视图合成时具有显著优势。

关键设计：在模型设计中，采用了特定的损失函数以平衡几何一致性与视觉保真度，同时网络结构经过优化以适应动态场景的变化，确保在极端相机运动下仍能保持生成结果的高质量。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，UniWorld-View在WorldScore基准和零样本NVS基准上表现出色，显示出在可控性、几何一致性和视觉保真度方面的显著提升。具体而言，相较于传统方法，UniWorld-View在极端相机运动下的视图生成质量提高了XX%，并成功生成了多视角视频，为后续的动态3DGS重建提供了有效支持。

🎯 应用场景

UniWorld-View的研究成果在多个领域具有潜在应用价值，包括虚拟现实、增强现实和影视制作等。通过生成高质量的新视图，该技术能够提升用户的沉浸体验，并为动态场景的3D重建提供支持，推动相关行业的发展。

📄 摘要（原文）

The abundance of casually captured monocular videos and images on social media provides a valuable source for immersive content creation, where generating novel views from such sparse observations can greatly enhance user experiences. However, producing photorealistic and geometrically consistent views with precise camera control remains challenging when input coverage is extremely limited. Reconstruction-based approaches such as NeRF and 3D Gaussian Splatting (3DGS) deteriorate severely under sparse inputs and fail to explicitly handle occlusions. Generative methods ease data requirements but still struggle with large-baseline view synthesis due to inaccurate or implicit geometric guidance. To overcome these limitations, we introduce UniWorld-View, a unified framework for controllable large-baseline novel view synthesis from monocular inputs. UniWorld-View integrates explicit 3D guidance with generative diffusion modeling to enable precise camera control and geometrically consistent view generation. The geometric guidance is obtained through an occlusion-aware point cloud rendering strategy that resolves visibility ambiguities and provides accurate priors for diffusion-based synthesis. By coupling this rendering strategy with powerful video diffusion backbones, UniWorld-View achieves high-fidelity novel view generation even under extreme camera motions and wide-baseline changes, and can further provide multi-view videos for downstream dynamic 3DGS reconstruction. Experiments on the WorldScore benchmark and zero-shot NVS benchmarks demonstrate the effectiveness of UniWorld-View in controllability, geometric consistency, and visual fidelity.