SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation

📄 arXiv: 2607.01766 📥 PDF

作者: Chunjiang Liu, Xiaoyuan Wang, Haoyu Chen, Yizhou Zhao, Ming-Hsuan Yang, László A. Jeni

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出SimWorlds以解决动态3D场景生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景生成 多代理系统 物理一致性 程序化建模 大型语言模型

📋 核心要点

  1. 现有的文本到场景生成方法主要集中于静态场景，缺乏对动态4D场景的支持，导致生成内容的可编辑性和物理真实性不足。
  2. SimWorlds通过多代理框架，结合Blender特定知识和分层场景协议，解决了动态场景生成中的空间布局、物理求解和时间序列协调等问题。
  3. 实验结果显示，SimWorlds在动态场景生成方面显著优于现有基线，展示了更高的视觉保真度和物理一致性。

📝 摘要（中文）

随着大型语言模型（LLM）代理在将自然语言转化为程序化3D场景中的应用日益增加，现有系统主要集中于静态输出。尽管动态4D场景（如液体流动、粒子发射、刚体级联和关节机制运动）作为可编辑内容和基于物理的训练数据在视频生成和具身人工智能中具有重要价值，但这一领域仍未得到充分探索。本文提出SimWorlds，一个多代理框架，能够从文本生成动态、可编辑的4D场景，采用Blender特定的程序知识，结合规划-编码-审查的工作流程，确保构建阶段的固定顺序，以及通过确定性验证器强制执行的分层场景协议。此外，本文还引入了4DBuildBench，一个用于评估从文本提示生成的程序化动态3D场景的视觉保真度和物理一致性的基准。实验表明，SimWorlds在动态Blender生成基准上表现优于以往方法。

🔬 方法详解

问题定义：本文旨在解决现有文本到动态3D场景生成方法的不足，尤其是在生成动态4D场景时面临的空间布局、物理求解和时间序列协调等挑战。现有方法主要集中于静态输出，缺乏对动态内容的支持。

核心思路：SimWorlds的核心思路是通过多代理系统，结合Blender特定的程序知识，采用规划-编码-审查的工作流程，确保在生成动态场景时能够有效协调各个物理求解器、时间序列、相机和照明设置。

技术框架：SimWorlds的整体架构包括多个主要模块：首先是文本解析模块，将自然语言转化为场景描述；其次是规划模块，负责生成空间布局和物理行为；然后是编码模块，执行具体的场景构建；最后是审查模块，利用确定性验证器检查生成结果的正确性。

关键创新：SimWorlds的主要创新在于其多代理框架和分层场景协议，能够在动态场景生成中实现更高的协调性和一致性。这一方法与现有静态生成方法的本质区别在于其对动态物理行为的支持。

关键设计：在关键设计方面，SimWorlds采用了确定性验证器来强制执行分层场景协议，并引入了运行时状态检查工具，以捕捉渲染图像无法揭示的机制故障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SimWorlds在动态场景生成方面的表现优于以往的基线方法，具体而言，生成的场景在视觉保真度和物理一致性上均有显著提升，展示了更高的生成质量和更强的动态表现能力。

🎯 应用场景

SimWorlds的研究成果在多个领域具有潜在应用价值，包括游戏开发、虚拟现实、动画制作和教育培训等。通过生成动态、可编辑的3D场景，开发者可以更高效地创建复杂的交互式环境，提升用户体验。此外，该技术还可以为物理基础的AI训练提供丰富的数据支持，推动具身人工智能的发展。

📄 摘要（原文）

LLM agents are increasingly used to translate natural language into 3D scenes in a procedural way, but existing systems focus on static output. Dynamic 4D scenes from text alone, in which liquids flow, particles emit, rigid bodies cascade, and articulated mechanisms move, remain largely unexplored despite their value as editable content and as physics-grounded training data for video generation and embodied AI. Two challenges set the dynamic case apart from static text-to-scene work: an agent must jointly coordinate spatial layout, multiple physics solvers, temporal sequencing, camera, and lighting in a single coherent scene, and verifying motion correctness from rendered video is fundamentally harder than judging a single image. We present SimWorlds: a multi-agent framework that produces dynamic, editable 4D scenes from text, with Blender-specific procedural knowledge, a planner-coder-reviewer workflow driving a fixed ordered sequence of construction stages, a layered scene protocol enforced by a deterministic verifier, and a runtime-state inspection tool suite that catches mechanism failures the rendered image cannot reveal. We also introduce 4DBuildBench, a benchmark for assessing both visual fidelity and physical consistency of the procedural dynamic 3D scenes generated from text prompts. Experiments show that SimWorlds outperforms prior dynamic Blender generation baselines.