SpatialCrafter: Single Image World Modeling with Generative 3D Proxies
作者: Chuan Fang, Lingteng Qiu, Yixun Liang, Rui Chen, Kunming Luo, Zhaohua Zheng, Tongyuan Bai, Feipeng Tian, Zilong Dong, Zihan Zhou, Ping Tan
分类: cs.CV, cs.RO
发布日期: 2026-08-27 (更新: 2026-08-28)
备注: 12 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SpatialCrafter以解决图像到场景生成中的一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图像到场景生成 3D代理 生成模型 虚拟现实 机器人导航
📋 核心要点
- 现有方法在图像到场景生成中依赖不完整的条件信号，导致生成结果的不稳定性和一致性不足。
- 论文提出SpatialCrafter框架，通过全局3D代理生成和外观细化两个阶段，提升图像到场景的生成质量。
- 实验结果表明，SpatialCrafter在多个数据集上表现优异，显著减少了长期漂移，并在快速运动下保持稳定性。
📝 摘要（中文）
可探索的图像到场景生成对于游戏、机器人和虚拟现实等应用至关重要。现有基于视频扩散模型的方法通常依赖于不完整的条件信号，如稀疏点云或2D全景，导致随机幻觉、长期漂移和次优的3D一致性。我们提出SpatialCrafter，一个新颖的两阶段框架，通过引入全局3D代理来实现高保真图像到场景生成。具体而言，我们将生成过程分解为全局代理生成和外观细化。代理生成中，我们提出了点锚稀疏结构（PaSS）流模块，预测空间对齐和几何一致的3D代理。外观细化中，我们将VDM重新框架为生成延迟细化器，在代理定义的场景几何上合成高频光真实细节。我们还构建了一个新的大规模数据集，包含115K场景，首次为图像到场景生成任务提供混合数据集。实验表明，SpatialCrafter在合成和真实数据集上均优于现有方法，减轻了长期漂移，并在快速相机运动和极端视角变化下保持稳健和一致。
🔬 方法详解
问题定义：本论文旨在解决图像到场景生成中的一致性和稳定性问题。现有方法常依赖稀疏点云或2D全景，导致生成结果的随机性和漂移现象。
核心思路：SpatialCrafter通过引入全局3D代理，分阶段进行生成，首先生成几何一致的3D代理，然后在此基础上细化外观，确保生成的场景更加真实和一致。
技术框架：整体架构分为两个主要阶段：全局代理生成和外观细化。全局代理生成使用点锚稀疏结构（PaSS）流模块，外观细化则通过生成延迟细化器来实现。
关键创新：最重要的创新在于引入了全局3D代理和生成延迟细化器，使得生成过程能够在几何和外观上保持一致性，克服了传统方法的局限性。
关键设计：在设计中，采用了并行几何注入和代理感知腐蚀训练策略，以增强对代理伪影的鲁棒性，同时不干扰预训练的生成流形。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SpatialCrafter在多个合成和真实数据集上均优于现有最先进的方法，显著减少了长期漂移，并在快速相机运动和极端视角变化下保持了高稳定性和一致性，具体性能提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、机器人导航和虚拟现实场景生成。通过提供高保真的场景生成能力，SpatialCrafter能够提升用户体验，并为相关领域的技术进步奠定基础。
📄 摘要（原文）
Explorable image-to-scene generation is essential for applications in gaming, robotics, and virtual reality. Existing methods based on video diffusion model (VDM) commonly rely on incomplete conditioning signals such as sparse point clouds or 2D panoramas, leading to stochastic hallucinations, long-term drifts and suboptimal 3D consistency. We present SpatialCrafter, a novel two-stage framework that addresses these issues by introducing a global 3D proxy for high-fidelity image-to-scene generation. Specifically, we decompose the generation process into global proxy generation and appearance refinement. For proxy generation, we propose a Point-anchored Sparse Structure~(PaSS) Flow module that predicts a spatially aligned and geometrically consistent 3D proxy. For appearance refinement, we re-frame the VDM as a Generative Deferred Refiner which synthesizes high-frequency photorealistic details upon proxy-defined scene geometry. To better integrate the proxy with the pre-trained VDM, we introduce Parallel Geometry Injection and Proxy-Aware Corruption training strategies, which improve robustness to proxy artifacts without disrupting the pretrained generative manifold. Furthermore, as no suitable dataset exists for this explorable scene generation task, we construct a new large-scale dataset of 115K scenes. To the best of our knowledge, it is the first hybrid dataset for image-to-scene generation. Extensive experiments on both synthetic and real-world datasets show that SpatialCrafter outperforms state-of-the-art methods, mitigates long-term drift, and remains robust and consistent under rapid camera motion and extreme viewpoint changes. Our project page: \href{https://fangchuan.github.io/SpatialCrafter/}{fangchuan.github.io/SpatialCrafter/}