Open-Universe Indoor Scene Generation using LLM Program Synthesis and Uncurated Object Databases
作者: Rio Aguina-Kang, Maxim Gumin, Do Heon Han, Stewart Morris, Seung Jean Yoo, Aditya Ganeshan, R. Kenny Jones, Qiuhong Anna Wei, Kailiang Fu, Daniel Ritchie
分类: cs.CV, cs.GR
发布日期: 2024-02-05
备注: See ancillary files for link to supplemental material
💡 一句话要点
提出一种新系统以生成开放宇宙室内场景
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 室内场景生成 大型语言模型 视觉-语言模型 3D网格检索 开放宇宙
📋 核心要点
- 现有室内场景生成方法通常依赖于固定的训练数据集，限制了生成的灵活性和多样性。
- 本研究提出了一种新颖的系统，利用预训练的LLMs合成布局程序，生成开放宇宙的室内场景。
- 实验结果显示，该系统在开放宇宙场景生成任务中表现优异，超越了传统的3D数据生成模型和LLM布局生成方法。
📝 摘要（中文）
我们提出了一种生成室内场景的系统，该系统能够根据文本提示生成场景，且不受限于固定的场景描述词汇和对象类别。与大多数现有室内场景生成方法不同，我们的系统不需要大量的3D场景训练数据，而是利用预训练的大型语言模型（LLMs）中的世界知识，合成描述对象及其空间关系的特定领域布局语言程序。执行该程序生成约束满足问题的规范，系统通过基于梯度的优化方案解决该问题，从而确定对象的位置和方向。为了生成对象几何形状，系统从数据库中检索3D网格。与以往使用类别标注、相互对齐网格的数据库不同，我们开发了一种使用视觉-语言模型（VLMs）从大量未标注、不一致对齐的网格数据库中检索网格的流程。实验评估表明，我们的系统在传统的封闭宇宙场景生成任务中优于基于3D数据训练的生成模型，并在开放宇宙场景生成中超越了最近的基于LLM的布局生成方法。
🔬 方法详解
问题定义：本论文旨在解决现有室内场景生成方法对固定训练数据集的依赖，导致生成场景的灵活性和多样性受限的问题。
核心思路：通过利用预训练的大型语言模型（LLMs）中的知识，合成描述对象及其空间关系的程序，从而生成室内场景，而不需要大量的3D场景数据。
技术框架：系统主要包括三个模块：1) 文本提示解析，利用LLMs生成布局程序；2) 执行程序以生成约束满足问题的规范；3) 通过优化算法确定对象的位置和方向，并从数据库中检索3D网格。
关键创新：本研究的创新点在于使用视觉-语言模型（VLMs）从未标注且不一致对齐的网格数据库中检索3D网格，突破了以往方法对标注数据的依赖。
关键设计：系统设计中采用了基于梯度的优化方案来解决约束满足问题，确保生成的对象位置和方向符合空间关系的要求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该系统在开放宇宙场景生成任务中超越了传统的基于3D数据的生成模型，且在与最近的LLM布局生成方法的比较中表现更佳，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和室内设计等，能够为用户提供更加灵活和多样化的室内场景生成方案，提升用户体验和创作效率。未来，该技术可能推动智能家居和建筑设计的自动化进程。
📄 摘要（原文）
We present a system for generating indoor scenes in response to text prompts. The prompts are not limited to a fixed vocabulary of scene descriptions, and the objects in generated scenes are not restricted to a fixed set of object categories -- we call this setting indoor scene generation. Unlike most prior work on indoor scene generation, our system does not require a large training dataset of existing 3D scenes. Instead, it leverages the world knowledge encoded in pre-trained large language models (LLMs) to synthesize programs in a domain-specific layout language that describe objects and spatial relations between them. Executing such a program produces a specification of a constraint satisfaction problem, which the system solves using a gradient-based optimization scheme to produce object positions and orientations. To produce object geometry, the system retrieves 3D meshes from a database. Unlike prior work which uses databases of category-annotated, mutually-aligned meshes, we develop a pipeline using vision-language models (VLMs) to retrieve meshes from massive databases of un-annotated, inconsistently-aligned meshes. Experimental evaluations show that our system outperforms generative models trained on 3D data for traditional, closed-universe scene generation tasks; it also outperforms a recent LLM-based layout generation method on open-universe scene generation.