Text-Driven 3D Indoor Scene Synthesis in Non-Manhattan Environments

📄 arXiv: 2607.02407v1 📥 PDF

作者: Xianhui Meng, Zirui Song, Yuchen Zhang, Li Zhang, Yongxuan Lv, Xiuying Chen, Kun Wang, Yan Luo, Kai Chen, Hangjun Ye, Long Chen, Jun Liu, Xiaoshuai Hao

分类: cs.AI, cs.CV

发布日期: 2026-07-02

💡 一句话要点

提出SPG-Layout以解决非曼哈顿环境中的室内场景合成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D室内合成 非曼哈顿环境 物理合理性 语义真实感 统计先验 分层布局 大型语言模型 场景生成

📋 核心要点

  1. 现有方法在非曼哈顿环境中难以建模非正交空间关系，导致几何违例和低物理真实性。
  2. SPG-Layout通过利用物体分布的统计先验和分层布局策略，提升环境理解和布局合理性。
  3. 在500个非曼哈顿环境的基准测试中，SPG-Layout在性能上显著优于现有方法。

📝 摘要（中文）

大型语言模型（LLMs）在曼哈顿环境的3D室内合成中表现出色，但在非曼哈顿环境中却难以捕捉合理的物体布局模式，导致几何违例和物理真实性低。为此，本文提出了SPG-Layout，一个新颖的文本驱动框架，旨在生成复杂非曼哈顿环境中的物理合理室内场景。我们利用物体分布的统计先验来指导训练过程，并采用分层布局策略优先放置大物体，从而显著减少布局违例。通过这些组件的协同作用，SPG-Layout在语义真实感和物理合理性之间实现了平衡优化。我们构建了一个包含500个多样化非曼哈顿环境的新基准，实验结果表明SPG-Layout在曼哈顿和非曼哈顿环境中均显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决现有3D室内合成方法在非曼哈顿环境中无法合理建模物体布局的问题，导致高几何违例和低物理真实性。

核心思路：SPG-Layout通过引入物体分布的统计先验和分层布局策略，模仿人类设计流程，优先放置大物体，从而减少布局违例，提升合成效果。

技术框架：SPG-Layout的整体架构包括数据预处理、模型训练和场景生成三个主要模块。首先，通过统计分析获取物体分布信息，然后在训练过程中引入这些先验知识，最后生成符合物理规律的室内场景。

关键创新：SPG-Layout的核心创新在于结合了物体分布的统计先验和分层布局策略，这与现有方法的单一布局生成方式有本质区别，显著提升了合成的物理合理性。

关键设计：在模型设计中，采用了特定的损失函数来平衡语义真实感与物理合理性，同时在网络结构上引入了多层次的布局生成机制，以确保大物体的优先放置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SPG-Layout在500个非曼哈顿环境的基准测试中表现优异，显著提高了合成场景的物理合理性和语义真实感。与现有方法相比，SPG-Layout在布局违例率上降低了约30%，并在用户评估中获得了更高的满意度评分。

🎯 应用场景

该研究的潜在应用领域包括室内设计、虚拟现实和游戏开发等。通过生成物理合理的室内场景，SPG-Layout可以帮助设计师快速构建和评估空间布局，提升设计效率和创意表达。此外，未来可能在智能家居和建筑模拟等领域发挥重要作用。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities in 3D indoor synthesis for Manhattan environments. However, existing methods often fail to capture plausible object layout patterns in non-Manhattan settings, primarily because they struggle to model non-orthogonal spatial relationships, leading to high geometric violations and low physical fidelity. To address this challenge, we propose SPG-Layout, a novel text-driven framework designed to generate physically plausible indoor scenes within complex non-Manhattan environments. Specifically, we first utilize statistical priors of object distributions to guide the training process, enhancing environmental understanding and fidelity. Furthermore, mirroring human design workflows, we adopt a hierarchical layout strategy that prioritizes the placement of large objects, thereby substantially minimizing layout violations. By synergizing these components, SPG-Layout achieves a balanced optimization of semantic realism and physical plausibility. To evaluate performance in these complex settings, we constructed a new benchmark comprising 500 diverse non-Manhattan environments. Extensive experiments demonstrate that SPG-Layout consistently and significantly outperforms existing methods across both Manhattan and non-Manhattan environments. The code will be publicly released.