SceneCraft: An LLM Agent for Synthesizing 3D Scene as Blender Code
作者: Ziniu Hu, Ahmet Iscen, Aashi Jain, Thomas Kipf, Yisong Yue, David A. Ross, Cordelia Schmid, Alireza Fathi
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2024-03-02
💡 一句话要点
提出SceneCraft以解决3D场景合成问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D场景合成 大型语言模型 Blender 视觉-语言模型 库学习 空间规划 Python脚本
📋 核心要点
- 现有方法在将文本描述转化为3D场景时面临复杂的空间规划和资产排列挑战。
- SceneCraft通过建模场景图、编写Python脚本和利用视觉-语言模型进行迭代优化来解决这些问题。
- 实验结果表明，SceneCraft在渲染复杂场景方面优于现有的LLM代理，获得了更好的约束遵循和人类评估反馈。
📝 摘要（中文）
本文介绍了SceneCraft，一个大型语言模型（LLM）代理，能够将文本描述转换为可在Blender中执行的Python脚本，从而渲染复杂场景，最多可包含一百个3D资产。该过程涉及复杂的空间规划和排列。我们通过高级抽象、战略规划和库学习的结合来应对这些挑战。SceneCraft首先将场景图建模为蓝图，详细描述场景中资产之间的空间关系。然后，SceneCraft根据该图编写Python脚本，将关系转化为资产布局的数值约束。接下来，SceneCraft利用视觉-语言基础模型（如GPT-V）的感知优势，分析渲染图像并迭代优化场景。此外，SceneCraft还具有库学习机制，将常见脚本功能编译为可重用库，促进持续自我改进而无需昂贵的LLM参数调优。我们的评估表明，SceneCraft在渲染复杂场景方面超越了现有的基于LLM的代理，符合约束并获得了良好的人工评估。
🔬 方法详解
问题定义：本文旨在解决将文本描述转换为3D场景的复杂性，现有方法在空间规划和资产排列方面存在不足。
核心思路：SceneCraft通过构建场景图作为蓝图，详细描述资产之间的空间关系，并将其转化为Python脚本，从而实现高效的场景合成。
技术框架：整体流程包括三个主要模块：首先，建模场景图；其次，基于场景图编写Python脚本；最后，利用视觉-语言模型分析渲染图像并进行迭代优化。
关键创新：SceneCraft的核心创新在于结合了场景图建模与库学习机制，使得模型能够在不进行昂贵参数调优的情况下实现自我改进。
关键设计：在技术细节上，SceneCraft采用了数值约束来确保资产布局的合理性，并通过库学习将常见功能编译为可重用的脚本库。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SceneCraft在渲染复杂场景方面的表现优于现有的LLM代理，具体表现为更高的约束遵循率和更好的人工评估反馈，展示了其在3D场景合成中的显著优势。
🎯 应用场景
SceneCraft在3D场景合成领域具有广泛的应用潜力，能够用于游戏开发、动画制作和虚拟现实等多个领域。其高效的场景生成能力将大大提升创作效率，并为未来的多模态生成任务提供新的思路和工具。
📄 摘要（原文）
This paper introduces SceneCraft, a Large Language Model (LLM) Agent converting text descriptions into Blender-executable Python scripts which render complex scenes with up to a hundred 3D assets. This process requires complex spatial planning and arrangement. We tackle these challenges through a combination of advanced abstraction, strategic planning, and library learning. SceneCraft first models a scene graph as a blueprint, detailing the spatial relationships among assets in the scene. SceneCraft then writes Python scripts based on this graph, translating relationships into numerical constraints for asset layout. Next, SceneCraft leverages the perceptual strengths of vision-language foundation models like GPT-V to analyze rendered images and iteratively refine the scene. On top of this process, SceneCraft features a library learning mechanism that compiles common script functions into a reusable library, facilitating continuous self-improvement without expensive LLM parameter tuning. Our evaluation demonstrates that SceneCraft surpasses existing LLM-based agents in rendering complex scenes, as shown by its adherence to constraints and favorable human assessments. We also showcase the broader application potential of SceneCraft by reconstructing detailed 3D scenes from the Sintel movie and guiding a video generative model with generated scenes as intermediary control signal.