SpatialCrafter: Single Image World Modeling with Generative 3D Proxies

📄 arXiv: 2608.27073v1 📥 PDF

作者: Chuan Fang, Lingteng Qiu, Yixun Liang, Rui Chen, Kunming Luo, Zhaohua Zheng, Tongyuan Bai, Feipeng Tian, Zilong Dong, Zihan Zhou, Ping Tan

分类: cs.CV, cs.RO

发布日期: 2026-08-27

备注: 12 pages

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SpatialCrafter以解决图像到场景生成中的一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像到场景生成 3D代理 生成模型 虚拟现实 机器人导航 数据集构建

📋 核心要点

  1. 现有方法依赖于不完整的条件信号，导致生成结果的不稳定性和一致性差。
  2. 提出SpatialCrafter框架，通过全局3D代理生成和外观细化来提升图像到场景生成的质量。
  3. 实验表明SpatialCrafter在多个数据集上表现优异，显著减少了长期漂移现象。

📝 摘要（中文）

可探索的图像到场景生成在游戏、机器人和虚拟现实等应用中至关重要。现有基于视频扩散模型的方法通常依赖于不完整的条件信号，如稀疏点云或2D全景，导致随机幻觉、长期漂移和次优的3D一致性。我们提出了SpatialCrafter，一个新颖的两阶段框架，通过引入全局3D代理来实现高保真图像到场景生成。具体而言，我们将生成过程分解为全局代理生成和外观细化。代理生成中，我们提出了点锚稀疏结构（PaSS）流模块，预测空间对齐和几何一致的3D代理。外观细化中，我们将VDM重新框架为生成延迟细化器，在代理定义的场景几何上合成高频光真实细节。为更好地将代理与预训练VDM集成，我们引入了并行几何注入和代理感知腐蚀训练策略，增强了对代理伪影的鲁棒性而不干扰预训练生成流形。此外，我们构建了一个新的大规模数据集，包含115K场景，成为首个用于图像到场景生成的混合数据集。实验表明，SpatialCrafter在合成和真实世界数据集上均优于现有最先进的方法，减轻了长期漂移，并在快速相机运动和极端视角变化下保持鲁棒性和一致性。

🔬 方法详解

问题定义：论文旨在解决图像到场景生成中的一致性和鲁棒性问题。现有方法常因依赖稀疏点云或2D全景而导致生成结果的不稳定性和长期漂移。

核心思路：SpatialCrafter通过引入全局3D代理来提升生成质量，分为代理生成和外观细化两个阶段，确保生成的几何结构与图像内容的高一致性。

技术框架：整体框架包括两个主要模块：第一阶段是使用点锚稀疏结构（PaSS）流模块生成空间对齐的3D代理；第二阶段是将VDM重构为生成延迟细化器，以合成高频细节。

关键创新：最重要的创新在于引入了全局3D代理和生成延迟细化器的结合，显著提高了生成的几何一致性和外观真实感，与传统方法相比，减少了随机幻觉和漂移现象。

关键设计：在训练过程中，采用并行几何注入和代理感知腐蚀策略，以增强模型对代理伪影的鲁棒性，同时保持预训练生成流形的完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SpatialCrafter在多个合成和真实数据集上均优于现有最先进的方法，显著降低了长期漂移，并在快速相机运动和极端视角变化下保持了鲁棒性和一致性。具体性能提升幅度未明确给出，待进一步验证。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、机器人导航和虚拟现实环境的构建。通过提供高保真的场景生成能力，SpatialCrafter能够在多种交互式应用中提升用户体验，推动相关技术的发展与应用。

📄 摘要（原文）

Explorable image-to-scene generation is essential for applications in gaming, robotics, and virtual reality. Existing methods based on video diffusion model (VDM) commonly rely on incomplete conditioning signals such as sparse point clouds or 2D panoramas, leading to stochastic hallucinations, long-term drifts and suboptimal 3D consistency. We present SpatialCrafter, a novel two-stage framework that addresses these issues by introducing a global 3D proxy for high-fidelity image-to-scene generation. Specifically, we decompose the generation process into global proxy generation and appearance refinement. For proxy generation, we propose a Point-anchored Sparse Structure~(PaSS) Flow module that predicts a spatially aligned and geometrically consistent 3D proxy. For appearance refinement, we re-frame the VDM as a Generative Deferred Refiner which synthesizes high-frequency photorealistic details upon proxy-defined scene geometry. To better integrate the proxy with the pre-trained VDM, we introduce Parallel Geometry Injection and Proxy-Aware Corruption training strategies, which improve robustness to proxy artifacts without disrupting the pretrained generative manifold. Furthermore, as no suitable dataset exists for this explorable scene generation task, we construct a new large-scale dataset of 115K scenes. To the best of our knowledge, it is the first hybrid dataset for image-to-scene generation. Extensive experiments on both synthetic and real-world datasets show that SpatialCrafter outperforms state-of-the-art methods, mitigates long-term drift, and remains robust and consistent under rapid camera motion and extreme viewpoint changes. Code, models, and the newly constructed dataset will be publicly released. See more at https://fangchuan.github.io/SpatialCrafter/.