SceneScript: Reconstructing Scenes With An Autoregressive Structured Language Model

📄 arXiv: 2403.13064v1 📥 PDF

作者: Armen Avetisyan, Christopher Xie, Henry Howard-Jenkins, Tsun-Yi Yang, Samir Aroudj, Suvam Patra, Fuyang Zhang, Duncan Frost, Luke Holland, Campbell Orme, Jakob Engel, Edward Miller, Richard Newcombe, Vasileios Balntas

分类: cs.CV

发布日期: 2024-03-19

备注: see project page, https://projectaria.com/scenescript

💡 一句话要点

提出SceneScript以重建场景模型并解决传统方法不足

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 场景重建 自回归模型 结构化语言 视觉数据 建筑布局 3D物体检测 合成数据集

📋 核心要点

  1. 现有方法通常使用网格或体素等传统方式描述场景，缺乏灵活性和适应性。
  2. SceneScript通过自回归语言模型直接生成结构化语言命令，创新性地重构场景。
  3. 在建筑布局估计中取得最先进结果，并在3D物体检测中表现出竞争力。

📝 摘要（中文）

我们提出了SceneScript，一种通过自回归结构化语言模型直接生成完整场景模型的方法。该方法受益于变换器和大语言模型的成功，区别于传统的网格、体素网格、点云或辐射场等场景描述方式。SceneScript通过场景语言编码器-解码器架构，从编码的视觉数据中推断出结构化语言命令集。为训练SceneScript，我们生成并发布了一个名为Aria Synthetic Environments的大规模合成数据集，包含10万个高质量的室内场景，具有照片级真实感和真实标注的自我中心场景漫游渲染。我们的研究在建筑布局估计中取得了最先进的结果，并在3D物体检测中表现出竞争力。最后，我们展示了SceneScript的一个优势，即通过简单的结构化语言添加，能够轻松适应新命令，适用于粗略的3D物体部件重建等任务。

🔬 方法详解

问题定义：本论文旨在解决传统场景重建方法在灵活性和适应性方面的不足，现有方法多依赖于网格、体素等固定结构，难以有效处理复杂场景。

核心思路：我们提出的SceneScript方法通过自回归结构化语言模型，直接从视觉数据生成结构化语言命令，从而实现场景的灵活重建。这种设计使得场景描述更加直观和易于扩展。

技术框架：整体架构包括一个场景语言编码器-解码器，首先对输入的视觉数据进行编码，然后通过解码器生成相应的结构化语言命令。该框架支持从高维视觉信息到低维语言描述的有效转换。

关键创新：SceneScript的核心创新在于其将场景重建视为生成结构化语言的过程，这一方法与传统的几何表示方法本质上不同，提供了更高的灵活性和适应性。

关键设计：在技术细节上，我们使用了特定的损失函数来优化生成的语言命令与真实场景之间的匹配度，同时设计了适应性强的网络结构，能够通过简单的命令添加来扩展功能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SceneScript在建筑布局估计任务中取得了最先进的结果，具体性能数据未详细披露，但相较于传统方法显示出显著的提升。此外，在3D物体检测任务中，SceneScript也展现出竞争力，表明其在多种场景重建任务中的有效性。

🎯 应用场景

该研究在室内场景重建、建筑设计和虚拟现实等领域具有广泛的应用潜力。通过提供灵活的场景描述方式，SceneScript能够帮助设计师和开发者更高效地创建和修改复杂场景，提升用户体验和交互性。未来，该方法还可能在自动化设计和智能家居等领域发挥重要作用。

📄 摘要（原文）

We introduce SceneScript, a method that directly produces full scene models as a sequence of structured language commands using an autoregressive, token-based approach. Our proposed scene representation is inspired by recent successes in transformers & LLMs, and departs from more traditional methods which commonly describe scenes as meshes, voxel grids, point clouds or radiance fields. Our method infers the set of structured language commands directly from encoded visual data using a scene language encoder-decoder architecture. To train SceneScript, we generate and release a large-scale synthetic dataset called Aria Synthetic Environments consisting of 100k high-quality in-door scenes, with photorealistic and ground-truth annotated renders of egocentric scene walkthroughs. Our method gives state-of-the art results in architectural layout estimation, and competitive results in 3D object detection. Lastly, we explore an advantage for SceneScript, which is the ability to readily adapt to new commands via simple additions to the structured language, which we illustrate for tasks such as coarse 3D object part reconstruction.