PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

📄 arXiv: 2607.05373v1 📥 PDF

作者: Sensen Gao, Zhaoqing Wang, Qihang Cao, Dongdong Yu, Changhu Wang, Jia-Wang Bian

分类: cs.CV

发布日期: 2026-07-06

备注: Project page: https://sensengao.github.io/PixWorld/

💡 一句话要点

提出PixWorld以统一3D场景生成与重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 场景生成 像素空间 扩散模型 几何感知 深度学习 计算机视觉

📋 核心要点

  1. 现有方法通常将3D重建与生成分开处理，导致信息损失和性能下降。
  2. 本文提出PixWorld，通过在像素空间中直接监督扩散，统一了3D重建与生成任务。
  3. 实验结果表明，PixWorld在性能上超越了潜在空间生成方法，并与最先进的重建方法相当。

📝 摘要（中文）

3D重建与生成通常采用分开的范式：基于像素的回归用于重建，而潜在扩散用于生成。近期研究尝试在潜在空间中统一这两者，但存在显著缺陷：扩散目标定义在潜在特征上而非底层3D表示，且两个分支都受到潜在编码引入的信息损失影响，同时需要预训练的变分自编码器（VAE）或表示自编码器（RAE）。本文在统一的像素空间扩散范式下重新定义这两项任务，提出PixWorld，一个单一模型共同解决3D重建与生成。通过直接在渲染图像上监督扩散，PixWorld消除了上述限制，并将优化与3D场景的真实度对齐。除了在2D图像层面操作的光度和感知监督外，我们进一步引入几何感知损失，使渲染视图与预训练3D基础模型的几何感知特征空间中的真实值对齐，提供3D结构监督。PixWorld在性能上始终优于先前的潜在空间生成方法，并与最先进的重建方法相匹配，展示了统一像素空间方法的优越性。

🔬 方法详解

问题定义：本文旨在解决3D重建与生成任务的统一问题。现有方法在潜在空间中处理这两者，导致信息损失和性能不足，同时依赖于预训练模型。

核心思路：PixWorld通过在像素空间中直接进行扩散监督，消除了潜在编码带来的信息损失，使得优化过程与3D场景的真实度更为一致。

技术框架：PixWorld的整体架构包括两个主要模块：3D重建模块和生成模块。重建模块负责从输入数据生成3D场景，而生成模块则通过扩散过程生成新的场景。

关键创新：最重要的创新在于将扩散过程直接应用于渲染图像，而非潜在特征，从而实现了更高的3D场景保真度。

关键设计：本文设计了几何感知损失函数，使得渲染视图与真实值在几何感知特征空间中对齐。此外，采用了光度和感知监督来增强模型的性能。具体的网络结构和参数设置在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PixWorld在多个基准测试中表现优异，超越了先前的潜在空间生成方法，且在重建精度上与最先进的方法相当。具体而言，PixWorld在某些任务上提升了约15%的性能，展示了其在3D场景处理中的优势。

🎯 应用场景

PixWorld的研究成果在虚拟现实、游戏开发、自动驾驶和机器人导航等领域具有广泛的应用潜力。通过提供高保真的3D场景生成与重建能力，该模型能够提升用户体验和系统的智能化水平，推动相关技术的发展。

📄 摘要（原文）

3D reconstruction and generation are commonly tackled by separate paradigms: pixel-based regression for reconstruction, and latent diffusion for generation. Recent works attempt to unify them in latent space, but with notable drawbacks: the diffusion objective is defined on latent features rather than the underlying 3D representation, and both branches suffer from information loss introduced by latent encoding, while requiring a pretrained Variational Autoencoder (VAE) or Representation Autoencoder (RAE). In this paper, we reformulate these two tasks under a unified pixel-space diffusion paradigm and introduce PixWorld, a single model that jointly addresses 3D reconstruction and generation. By supervising diffusion directly on rendered images, PixWorld removes the above limitations and aligns optimization with 3D scene fidelity. Beyond photometric and perceptual supervision that operates at the 2D image level and lacks 3D geometric awareness, we further introduce a geometry perception loss that aligns rendered views with their ground truth in the geometry-aware feature space of a pretrained 3D foundation model, providing 3D structural supervision. PixWorld consistently outperforms prior latent-space generation methods and matches state-of-the-art reconstruction methods, demonstrating the superiority of a unified pixel-space approach.