Imaginarium: Vision-guided High-Quality 3D Scene Layout Generation

📄 arXiv: 2510.15564v1 📥 PDF

作者: Xiaoming Zhu, Xu Huang, Qinghongbing Xie, Zhi Deng, Junsheng Yu, Yirui Guan, Zhongyuan Liu, Lin Zhu, Qijun Zhao, Ligang Liu, Long Zeng

分类: cs.CV

发布日期: 2025-10-17

🔗 代码/项目: GITHUB

💡 一句话要点

Imaginarium：提出视觉引导的高质量3D场景布局生成方法，提升场景丰富度和质量。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 视觉引导 图像解析 场景图 深度学习

📋 核心要点

  1. 现有3D场景布局生成方法存在规则繁琐、内容单一、空间关系建模不足等问题。
  2. 提出视觉引导的3D布局生成系统，利用图像生成模型和图像解析模块，结合场景图优化布局。
  3. 用户测试表明，该方法在布局丰富性和质量方面显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的视觉引导的3D布局生成系统，旨在生成具有艺术性和连贯性的3D场景布局。传统基于优化的方法受限于繁琐的手动规则，而深度生成模型在生成丰富和多样化的内容方面面临挑战。此外，利用大型语言模型的方法通常缺乏鲁棒性，并且无法准确捕捉复杂的空间关系。为了解决这些挑战，我们首先构建了一个高质量的资产库，包含2037个场景资产和147个3D场景布局。随后，我们采用图像生成模型来扩展提示表示为图像，并对其进行微调以与我们的资产库对齐。然后，我们开发了一个鲁棒的图像解析模块，以基于视觉语义和几何信息恢复场景的3D布局。最后，我们使用场景图和整体视觉语义来优化场景布局，以确保逻辑连贯性并与图像对齐。广泛的用户测试表明，我们的算法在布局丰富性和质量方面显着优于现有方法。代码和数据集将在https://github.com/HiHiAllen/Imaginarium上提供。

🔬 方法详解

问题定义：现有3D场景布局生成方法主要面临三个痛点：一是基于优化的方法依赖大量人工规则，效率低且难以泛化；二是深度生成模型难以保证生成内容的多样性和丰富性；三是基于大型语言模型的方法鲁棒性差，难以准确捕捉复杂的空间关系。因此，需要一种能够自动、高效、高质量地生成3D场景布局的方法。

核心思路：本文的核心思路是利用视觉信息作为指导，通过图像生成、图像解析和场景图优化三个阶段，逐步生成高质量的3D场景布局。首先，将文本提示转化为图像，利用图像的视觉信息指导布局生成；然后，通过图像解析模块提取场景的3D布局信息；最后，利用场景图对布局进行优化，保证场景的逻辑连贯性。

技术框架：该方法主要包含三个模块：1) 图像生成模块：使用图像生成模型将文本提示扩展为图像，并进行微调以与资产库对齐。2) 图像解析模块：从生成的图像中恢复场景的3D布局，提取视觉语义和几何信息。3) 场景布局优化模块：利用场景图和整体视觉语义优化场景布局，确保逻辑连贯性和与图像的对齐。整体流程是从文本提示开始，经过图像生成、图像解析，最终得到优化的3D场景布局。

关键创新：该方法最重要的创新点在于利用视觉信息指导3D场景布局生成。与传统方法相比，该方法无需人工规则，能够自动地从图像中提取布局信息，并利用场景图进行优化，从而生成更加丰富、多样和连贯的3D场景布局。此外，该方法还构建了一个高质量的3D场景资产库，为模型的训练和评估提供了数据支持。

关键设计：在图像生成模块中，使用了微调的图像生成模型，使其能够更好地与资产库对齐。在图像解析模块中，设计了鲁棒的图像解析算法，能够准确地提取场景的3D布局信息。在场景布局优化模块中，使用了场景图来表示场景中物体之间的关系，并利用视觉语义信息来优化布局，保证场景的逻辑连贯性。具体的损失函数和网络结构等细节在论文中有详细描述。

📊 实验亮点

实验结果表明，该方法在布局丰富性和质量方面显著优于现有方法。用户测试结果显示，该方法生成的3D场景布局更加多样、连贯和符合视觉语义。具体性能数据和对比基线在论文中有详细展示，证明了该方法的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于数字内容创作领域，例如游戏开发、电影制作、虚拟现实和增强现实等。它可以帮助设计师快速生成高质量的3D场景布局，提高创作效率，降低创作成本。未来，该技术还可以与大型语言模型结合，实现更加智能化的3D场景生成。

📄 摘要（原文）

Generating artistic and coherent 3D scene layouts is crucial in digital content creation. Traditional optimization-based methods are often constrained by cumbersome manual rules, while deep generative models face challenges in producing content with richness and diversity. Furthermore, approaches that utilize large language models frequently lack robustness and fail to accurately capture complex spatial relationships. To address these challenges, this paper presents a novel vision-guided 3D layout generation system. We first construct a high-quality asset library containing 2,037 scene assets and 147 3D scene layouts. Subsequently, we employ an image generation model to expand prompt representations into images, fine-tuning it to align with our asset library. We then develop a robust image parsing module to recover the 3D layout of scenes based on visual semantics and geometric information. Finally, we optimize the scene layout using scene graphs and overall visual semantics to ensure logical coherence and alignment with the images. Extensive user testing demonstrates that our algorithm significantly outperforms existing methods in terms of layout richness and quality. The code and dataset will be available at https://github.com/HiHiAllen/Imaginarium.