From Pixels to Concepts: Growing Rich 3D Semantic Scene Graph Forests utilizing Foundation Models

📄 arXiv: 2606.23312v1 📥 PDF

作者: David Oberacker, Meike Deitersen, Niklas Spielbauer, Tristan Schnell, Georg Heppner, Arne Roennau

分类: cs.RO

发布日期: 2026-06-22

备注: To be published in the Proceedings of the IEEE/RSJ International Conference on Intelligent Robots & Systems (IEEE IROS 2026)

💡 一句话要点

利用基础模型构建开放语义关系的3D场景图森林以提升机器人理解能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景图 基础模型 语义理解 机器人技术 开放语义关系 多模态学习 环境建模

📋 核心要点

  1. 现有的3D场景图方法通常限制于固定的关系类别，未能充分捕捉复杂的语义连接。
  2. 本文提出了一种结合视觉语言模型和大型语言模型的方法，以识别和扩展开放语义关系的3D场景图。
  3. 在uHumans2和ScanNet数据集上的实验验证了生成关系的准确性，并展示了在机器人任务中的应用潜力。

📝 摘要（中文）

在复杂的现实环境中，机器人需要在功能语义层面理解其周围环境，这要求构建一个详细的多层次世界模型。现有的3D场景图方法往往局限于预设的关系类别，忽视了重要的语义连接。本文探讨了基础模型在构建具有开放语义关系的3D场景图森林中的潜力，提出了一种通过视觉语言模型（VLM）和大型语言模型（LLM）识别实例特定概念节点和关系的方法。这些节点和关系被组装成一个层次化的3D场景图森林，并在uHumans2和ScanNet数据集上进行了评估，验证了生成关系的准确性和相关性。该方法在机器人任务执行中展示了良好的适用性。

🔬 方法详解

问题定义：本文旨在解决现有3D场景图方法在语义关系建模上的局限性，尤其是缺乏对复杂语义连接的捕捉能力。

核心思路：通过结合视觉语言模型（VLM）和大型语言模型（LLM），识别实例特定的概念节点和关系，并推导出更广泛的抽象概念，以构建开放语义关系的3D场景图森林。

技术框架：整体流程包括三个主要阶段：首先使用VLM识别具体的对象节点和关系；其次通过LLM推导出更抽象的概念节点；最后将所有节点和关系组装成层次化的3D场景图森林。

关键创新：本研究的创新在于引入基础模型来构建具有开放语义关系的3D场景图森林，突破了传统方法的固定关系限制，增强了场景理解的深度和表达能力。

关键设计：在模型设计中，采用了特定的损失函数来优化节点和关系的生成，同时在网络结构上结合了多模态信息，以提升模型的泛化能力和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，生成的3D场景图森林在uHumans2和ScanNet数据集上具有较高的准确性和相关性，尤其在开放词汇对象检索任务中，展示了显著的性能提升，验证了该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟现实等，能够显著提升机器人对复杂环境的理解能力和任务执行效率。未来，随着基础模型的进一步发展，该方法有望在更多实际场景中得到应用，推动智能系统的进步。

📄 摘要（原文）

Operating in complex real-world environments requires robots to understand their surroundings on a functional semantic level. This demands a detailed multi-layer world model capturing the complex relations of its surroundings. Hierarchical 3D scene graphs address this challenge by integrating geometric, semantic, and relational data within a unified spatial framework. However, current 3D scene graph approaches often restrict themselves to rigid structures of pre-determined relationship classes, mostly neglecting important semantic connections, like causal connections or environmental contexts. This paper explores the potential of foundation models to build forests of 3D scene graphs with open semantic relationships to improve scene understanding and robotic task execution. We propose a method where instance-specific concept-nodes and relationships are first identified by a VLM and extended upon by a LLM, inferring broader, more abstract concept-nodes and relationships through reasoning. These object-nodes, concept-nodes, and relationships are then assembled into a forest of hierarchical 3D scene graphs, enhanced with concept-nodes to represent abstract concepts. Evaluations were conducted on the uHumans2 and ScanNet indoor dataset, validating the accuracy and relevance of the generated relationships. Downstream suitability of scene-graph forests for robotics applications is demonstrated in an open-vocabulary object-retrieval task utilizing both ScanNet data and a real-world indoor deployment using a Boston Dynamics Spot. This paper leverages foundation models to create more expressive, semantically deep 3D hierarchical scene graphs and demonstrates their potential to advance semantic and environmental understanding in robotics.