SPATIALGEN: Layout-guided 3D Indoor Scene Generation

📄 arXiv: 2509.14981v3 📥 PDF

作者: Chuan Fang, Heng Li, Yixun Liang, Jia Zheng, Yongsen Mao, Yuan Liu, Rui Tang, Zihan Zhou, Ping Tan

分类: cs.CV

发布日期: 2025-09-18 (更新: 2025-09-26)

备注: 3D scene generation; diffusion model; Scene reconstruction and understanding

💡 一句话要点

SpatialGen：布局引导的3D室内场景生成模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景生成 室内场景 扩散模型 多视角学习 多模态融合

📋 核心要点

  1. 现有3D室内场景生成方法难以兼顾视觉质量、多样性、语义一致性和用户控制，缺乏大规模高质量数据集是主要瓶颈。
  2. SpatialGen提出一种多视角多模态扩散模型，利用3D布局和参考图像，合成外观、几何和语义信息，保持空间一致性。
  3. 实验表明，SpatialGen生成的3D室内场景在质量和语义一致性上优于现有方法，并开源数据和模型以促进研究。

📝 摘要（中文）

创建高保真3D室内环境模型对于设计、虚拟现实和机器人等应用至关重要。然而，手动3D建模仍然耗时且费力。虽然生成式AI的最新进展已经实现了自动化场景合成，但现有方法在平衡视觉质量、多样性、语义一致性和用户控制方面面临挑战。一个主要的瓶颈是缺乏针对此任务的大规模、高质量数据集。为了解决这个差距，我们引入了一个全面的合成数据集，包含12,328个结构化标注场景，57,440个房间和470万个逼真的2D渲染。利用此数据集，我们提出了SpatialGen，一种新颖的多视角多模态扩散模型，可以生成逼真且语义一致的3D室内场景。给定3D布局和参考图像（来自文本提示），我们的模型可以从任意视点合成外观（彩色图像）、几何（场景坐标图）和语义（语义分割图），同时保持跨模态的空间一致性。在我们的实验中，SpatialGen始终生成优于先前方法的结果。我们将开源我们的数据和模型，以增强社区能力并推进室内场景理解和生成领域。

🔬 方法详解

问题定义：现有3D室内场景生成方法在生成高质量、多样化且语义一致的场景方面存在困难。手动建模耗时费力，而现有的自动生成方法难以平衡视觉质量、多样性、语义一致性和用户控制。缺乏大规模、高质量的训练数据集是制约这些方法性能的关键因素。

核心思路：SpatialGen的核心思路是利用扩散模型强大的生成能力，结合3D布局作为空间约束，并引入参考图像（或文本提示）作为外观引导，从而生成逼真且语义一致的3D室内场景。通过多视角合成，保证场景在不同视角下的一致性。

技术框架：SpatialGen采用多视角多模态扩散模型。整体流程包括：1）输入3D布局和参考图像（或文本提示）；2）利用扩散模型从任意视点生成外观（彩色图像）、几何（场景坐标图）和语义（语义分割图）；3）通过损失函数约束，保证不同视角下生成结果的空间一致性。该框架包含布局编码器、图像/文本编码器、多视角扩散模型和空间一致性约束模块。

关键创新：SpatialGen的关键创新在于：1）提出了一个大规模、高质量的3D室内场景合成数据集，为模型训练提供了充足的数据支持；2）设计了一种多视角多模态扩散模型，能够同时生成外观、几何和语义信息，并保证空间一致性；3）结合3D布局和参考图像/文本提示，实现了对生成过程的有效控制。

关键设计：SpatialGen的关键设计包括：1）使用Transformer网络作为布局编码器和图像/文本编码器，提取布局和外观特征；2）采用U-Net结构的扩散模型，逐步去噪生成图像、几何和语义信息；3）设计了空间一致性损失函数，包括光度一致性损失、几何一致性损失和语义一致性损失，以约束不同视角下生成结果的一致性。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

SpatialGen在实验中表现出优于现有方法的性能。通过与现有方法进行对比，SpatialGen在视觉质量、语义一致性和空间一致性方面均取得了显著提升。具体性能数据和提升幅度未在摘要中给出，属于未知信息。论文开源了数据集和模型，为后续研究提供了便利。

🎯 应用场景

SpatialGen在虚拟现实、增强现实、游戏开发、室内设计、机器人导航等领域具有广泛的应用前景。它可以用于快速生成各种风格的室内场景，降低建模成本，提高开发效率。此外，该技术还可以用于训练机器人，使其能够在虚拟环境中学习导航和交互，从而提高其在真实环境中的适应性。

📄 摘要（原文）

Creating high-fidelity 3D models of indoor environments is essential for applications in design, virtual reality, and robotics. However, manual 3D modeling remains time-consuming and labor-intensive. While recent advances in generative AI have enabled automated scene synthesis, existing methods often face challenges in balancing visual quality, diversity, semantic consistency, and user control. A major bottleneck is the lack of a large-scale, high-quality dataset tailored to this task. To address this gap, we introduce a comprehensive synthetic dataset, featuring 12,328 structured annotated scenes with 57,440 rooms, and 4.7M photorealistic 2D renderings. Leveraging this dataset, we present SpatialGen, a novel multi-view multi-modal diffusion model that generates realistic and semantically consistent 3D indoor scenes. Given a 3D layout and a reference image (derived from a text prompt), our model synthesizes appearance (color image), geometry (scene coordinate map), and semantic (semantic segmentation map) from arbitrary viewpoints, while preserving spatial consistency across modalities. SpatialGen consistently generates superior results to previous methods in our experiments. We are open-sourcing our data and models to empower the community and advance the field of indoor scene understanding and generation.