DeWorldSG: Depth-Aware 3D Semantic Scene Graph Generation via World-Model Priors

📄 arXiv: 2607.00889v1 📥 PDF

作者: Seok-Young Kim, Abdelrahman Elskhawy, Taewook Ha, Dooyoung Kim, Eunjae Shin, Benjamin Busam, Woontack Woo

分类: cs.CV, cs.AI

发布日期: 2026-07-01

备注: 19 pages, 6 figures, ECCV 2026

💡 一句话要点

提出DeWorldSG以解决3D场景图生成中的不稳定性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D场景图 深度学习 语义理解 机器人操作 增强现实 时空建模

📋 核心要点

  1. 现有方法在构建3D场景图时面临3D物体表示不稳定和帧间推理导致的关系缺失等挑战。
  2. DeWorldSG通过深度引导过滤估计3D高斯分布，并将物体表示为概率性3D节点，从而解决了上述问题。
  3. 在3DSSG和ReplicaSSG数据集上，DeWorldSG在物体和谓词预测上实现了最先进的性能，显著提高了召回率。

📝 摘要（中文）

我们提出了DeWorldSG，一个新颖的框架，能够从RGB-D序列中生成时空鲁棒的3D语义场景图。现有方法常因3D物体表示不稳定和帧间推理导致的关系缺失而难以构建可靠的3D场景图。DeWorldSG通过深度引导过滤估计实例级几何3D高斯分布，并将每个物体表示为概率性3D节点，而非单一投影点。为了缓解帧间推理带来的关系稀疏性，我们的框架进一步聚合物体对之间的时空证据，并利用来自世界模型（V-JEPA 2）的上下文先验来细化关系。在3DSSG和ReplicaSSG数据集上的实验表明，我们的方法在物体和谓词预测上均实现了最先进的性能，同时生成了时间一致的场景结构。特别是，我们的方法在三元组召回率上提高了77.4%，在谓词召回率上提高了23.2%，使其适用于机器人操作和增强现实应用。我们的代码和模型已开源。

🔬 方法详解

问题定义：本论文旨在解决从RGB-D序列生成可靠的3D语义场景图的问题。现有方法由于3D物体表示的不稳定性和帧间推理导致的关系缺失，难以构建准确的场景图。

核心思路：DeWorldSG的核心思路是通过深度引导过滤来估计实例级的几何3D高斯分布，并将每个物体表示为概率性3D节点。这种设计能够更好地捕捉物体的空间特征和不确定性。

技术框架：DeWorldSG的整体架构包括深度引导过滤模块、概率性3D节点表示和时空证据聚合模块。首先，通过深度信息对物体进行过滤和建模，然后聚合物体对之间的时空证据，最后利用上下文先验细化物体之间的关系。

关键创新：本研究的关键创新在于将物体表示为概率性3D节点，而非单一的投影点，从而有效解决了3D场景图生成中的不确定性问题。此外，利用世界模型的上下文先验来增强关系建模也是一大创新。

关键设计：在参数设置上，采用了适应性深度引导过滤技术，损失函数设计上注重物体和关系的联合优化，网络结构则结合了卷积神经网络和图神经网络的优势，以实现更好的特征提取和关系建模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DeWorldSG在3DSSG和ReplicaSSG数据集上实现了最先进的性能，三元组召回率提高了77.4%，谓词召回率提高了23.2%。这些结果表明，该方法在生成时空一致的3D场景结构方面具有显著优势，超越了之前的最先进方法。

🎯 应用场景

DeWorldSG在机器人操作和增强现实等领域具有广泛的应用潜力。通过生成高质量的3D语义场景图，该框架能够帮助机器人更好地理解和互动复杂环境，提升其操作效率。同时，在增强现实应用中，准确的场景理解能够增强用户体验，提供更为沉浸的交互效果。

📄 摘要（原文）

We present DeWorldSG, a novel framework that generates spatio-temporally robust 3D Semantic Scene Graphs from RGB-D sequences. Existing methods often struggle to construct reliable 3D scene graphs due to unstable 3D object representations and missing relations caused by frame-wise inference. DeWorldSG addresses these issues by estimating instance-level geometric 3D Gaussian distributions through depth-guided filtering and representing each object as a probabilistic 3D node rather than a single projected point. To mitigate relational sparsity from frame-wise inference, our framework further aggregates spatiotemporal evidence across object pairs and refines relations using contextual priors derived from a world model (V-JEPA 2). Experiments on the 3DSSG and ReplicaSSG datasets demonstrate state-of-the-art (SoTA) performance in both object and predicate prediction, while producing temporally consistent scene structures. In particular, our method improves triplet recall by 77.4% and predicate recall by 23.2% over prior SoTA approaches, making it suitable for robotic manipulation and AR applications. Our code and models are open-sourced.