D3D-GEN: Robot-Aware Domain-Grounded Interactive 3D World Generation for Social Robotics

📄 arXiv: 2608.11876v1 📥 PDF

作者: Anh Duc Do, Volodymyr Scherbyna, Tai Duc Nguyen, Spaarsh Thakkar, Zhengcheng Shen, Teham Buiyan, Archan Misra, Linh Kästner

分类: cs.RO, cs.HC

发布日期: 2026-08-12

备注: 8 pages, 5 figures, and 5 tables. Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

💡 一句话要点

提出D3D-GEN以解决社交机器人领域的3D世界生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交机器人 3D世界生成 仿真环境 领域代理 检索增强生成 具身人工智能 虚拟现实

📋 核心要点

  1. 现有的社交机器人仿真环境在现实性和可模拟性之间难以取得平衡，限制了具身AI的训练效果。
  2. D3D-GEN通过结合领域代理与检索增强生成管道，自动化生成领域基础的3D世界，提升了生成效率和灵活性。
  3. 该系统已成功构建多个常见领域的数据库，并为每个领域生成了数十个不同的仿真环境，展示了其强大的应用潜力。

📝 摘要（中文）

训练和验证社交导航的具身人工智能依赖于逼真的仿真环境，但许多现有方法在现实性和可模拟性之间难以找到平衡。我们提出了D3D-GEN，这是一种新颖的世界生成系统，结合了领域代理和基于该领域的检索增强生成（RAG）管道。该系统使用户能够快速生成领域基础的、完全互动的3D世界，通过自动化收集领域知识和合成逼真的平面图及物体布局，而无需依赖任何固定的3D模型数据库。给定领域描述提示，研究代理收集公开可获取的领域特定数据并构建持久的领域数据库。利用该数据库，我们的RAG管道通过动态查询用户提供的语义数据库生成合理的平面图和物体布局，输出可由流行仿真器Isaac Sim和Gazebo加载的完全互动的3D世界。

🔬 方法详解

问题定义：本论文旨在解决社交机器人领域中仿真环境生成的现实性与可模拟性之间的矛盾。现有方法往往依赖固定的3D模型数据库，限制了生成的灵活性和多样性。

核心思路：D3D-GEN的核心思想是通过结合领域代理与检索增强生成（RAG）管道，自动化收集领域知识并生成3D世界。这种设计使得生成过程不再依赖于固定的模型库，能够根据用户需求动态生成环境。

技术框架：D3D-GEN的整体架构包括三个主要模块：领域代理、持久领域数据库和RAG管道。领域代理负责收集领域特定数据，持久数据库用于存储这些数据，而RAG管道则根据用户提供的语义数据库生成平面图和物体布局。

关键创新：D3D-GEN的主要创新在于其自动化的领域知识收集和动态生成能力。这与现有方法的本质区别在于，D3D-GEN不依赖于固定的3D模型库，而是能够根据实时数据生成多样化的环境。

关键设计：在设计中，D3D-GEN使用了动态查询机制来访问用户提供的语义数据库，确保生成的平面图和物体布局具有合理性和一致性。具体的参数设置和损失函数设计尚未详细披露，可能需要进一步的研究来优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，D3D-GEN能够为多个常见领域（如室内住宅、医院、办公室）生成数十个不同且合理的仿真环境，显著提升了生成的灵活性和多样性。与传统方法相比，D3D-GEN在环境生成的速度和质量上均有显著提升，展示了其在实际应用中的优势。

🎯 应用场景

D3D-GEN在社交机器人、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过快速生成逼真的3D环境，该系统能够为机器人导航、交互和训练提供更为真实的仿真平台，推动相关技术的发展与应用。未来，D3D-GEN还可能扩展到其他领域，如建筑设计和城市规划等。

📄 摘要（原文）

Training and validation of Embodied AI for social navigation critically depends on realistic simulation environments, yet many current approaches fail to find a balance between realism and simulability. We propose D3D-GEN, a novel world generation system that combines a domain agent with a retrieval-augmented generation (RAG) pipeline grounded in that domain. Our system enables users to rapidly generate domain-grounded, fully interactive 3D worlds by automating both the collection of domain knowledge and the synthesis of realistic floorplans and object placements, without dependence on any fixed 3D model database. Given a domain description prompt, the research agent collects publicly accessible domain-specific data and constructs a persistent domain database. Using this database, our RAG pipeline generates plausible floorplans and object placements by dynamically querying a user-provided semantic database, which can be easily extended or modified. The output is a fully interactive 3D world loadable by the popular simulators Isaac Sim and Gazebo. With our approach, we have built databases for several common domains (indoor residential, hospital, office) and generated dozens of distinct, plausible simulation environments for each domain. We present D3D-GEN with a local web frontend that facilitates rapid, interactive world generation for robot simulation.