Global Graph-Validated Optimization for VLM-based 3D Indoor Scene Generation

📄 arXiv: 2608.03064v1 📥 PDF

作者: Jialu Huang, Yingxuan You, Fei Wang, Zheng Dang

分类: cs.CV

发布日期: 2026-08-04

备注: 15 pages, 8 figures

💡 一句话要点

提出图验证优化方法以解决开放词汇3D室内场景生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D室内场景生成 开放词汇 图验证 语义一致性 物理可行性 进化搜索 机器学习

📋 核心要点

  1. 现有方法在生成3D室内场景时，往往依赖局部关系建模，导致全局一致性不足。
  2. 本文提出了一种图验证优化方法，通过全局语义验证和全局物理可行性搜索来提升场景生成的质量。
  3. 实验结果表明，所提方法在开放词汇3D室内布局生成任务中，显著提高了语义一致性和物理合理性，达到了最新的性能水平。

📝 摘要（中文）

本研究探讨开放词汇的3D室内布局生成，旨在利用自由形式的语言指令从未标记的3D资产合成多样且物理上合理的场景。现有方法多依赖局部约束和优化，导致生成的场景在全局上不一致或物理上不可行。为此，本文提出了一种基于图的中间表示，结合全局语义验证和全局物理可行性搜索，显著提升了语义一致性和物理合理性，达到了开放词汇3D室内布局生成的最新性能。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D室内布局生成中的全局一致性和物理可行性问题。现有方法多依赖局部约束，导致生成的场景在全局上不一致或物理上不可行。

核心思路：论文提出了一种基于图的中间表示，结合全局语义验证（GSV）和全局物理可行性搜索（GPFS），以实现语义一致性和物理合理性的双重优化。这样的设计使得生成过程能够更好地处理全局布局空间的复杂性。

技术框架：整体架构包括两个主要模块：首先是GSV模块，通过结构化图表示场景并进行语义约束验证；其次是GPFS模块，结合进化搜索和梯度优化，进行全局探索和局部优化。

关键创新：最重要的创新在于将语义一致性与物理可行性分离，通过图验证来消除矛盾配置，从而生成全局一致的语义框架。这一方法突破了传统局部建模的局限。

关键设计：在GSV中，采用规则基础的验证方法来确保语义一致性；在GPFS中，结合进化算法与梯度优化，减少对VLM初始化的依赖，提高了在非凸和不连续可行空间中的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在开放词汇3D室内布局生成任务中，达到了最新的性能水平，语义一致性和物理合理性均有显著提升。与基线方法相比，性能提升幅度达到XX%，在多个评估指标上均表现优异。

🎯 应用场景

该研究的潜在应用领域包括室内设计、虚拟现实、游戏开发等。通过生成高质量的3D室内场景，可以为设计师和开发者提供更为丰富的创作工具，提升用户体验和交互效果。未来，该方法有望在自动化设计和智能家居等领域发挥重要作用。

📄 摘要（原文）

We study open-vocabulary 3D indoor layout generation, which synthesizes diverse and physically plausible scenes from unlabeled 3D assets using free-form language instructions. Recent methods leverage large language models (LLMs) and vision-language models (VLMs) to generate structured scenes from text. However, most model inter-asset relations implicitly or rely on local pairwise constraints and local optimization. These formulations are poorly aligned with the global, highly non-convex layout space, often yielding locally plausible yet globally inconsistent or physically infeasible scenes. We address this problem with a graph-based intermediate representation that separates semantic coherence from physical feasibility, together with a hybrid search-and-refinement strategy. First, Global Semantic Verification (GSV) represents scenes as structured graphs and enforces semantic constraints through rule-based verification. This explicit validation removes contradictory configurations and produces a globally consistent semantic scaffold. Second, Global Physical Feasibility Search (GPFS) combines evolutionary search for global exploration with gradient-based refinement for local exploitation. It reduces dependence on VLM-proposed initialization and improves robustness in non-convex and discontinuous feasible spaces. Together, GSV and GPFS move layout generation beyond local relational modeling and initialization-sensitive optimization toward globally consistent reasoning and search. Experiments show that our method achieves state-of-the-art performance in open-vocabulary 3D indoor layout generation, improving both semantic consistency and physical plausibility.