Prior-SG: Task and Prior Driven Region Segmentation for Scene Graphs in Arbitrarily-Structured Environments
作者: Giorgio Tonetti, Laurent Kneip, Abel Gawel, Marco Hutter
分类: cs.RO, cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出Prior-SG以解决开放式环境中的场景图生成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 场景图生成 概率对齐 多模态融合 自主机器人 空间推理 零-shot学习 语义分割
📋 核心要点
- 现有的场景图提取方法在开放式或任意结构环境中表现不佳，无法有效处理缺乏物理墙壁的功能边界。
- 提出的Prior-SG框架将场景图生成视为概率对齐问题，利用多尺度特征融合和先验图指导推断高层语义。
- 在多种模拟和真实环境中验证了Prior-SG，显示出优于现有基线的语义区域分割精度和灵活的空间重构能力。
📝 摘要（中文）
层次化的3D场景图是一种有前景的高层空间推理表示，适用于自主移动平台。然而，现有的提取框架通常依赖于局部视觉聚类或严格的几何启发式方法，无法有效处理开放式或任意结构的环境。本文提出了Prior-SG，一个基于任务和先验的框架，将场景图生成视为一个概率对齐问题。系统通过多尺度、开放词汇的特征融合策略，将RGB-D传感器流持续聚合为一个物理基础的实例图，并通过最大后验估计推断该地图的高层功能语义。该方法在多样化的模拟住宅数据集和大型开放式真实环境中进行了验证，显示出优越的语义区域分割精度和零-shot本体灵活性。
🔬 方法详解
问题定义：本文旨在解决现有场景图生成方法在开放式和任意结构环境中的局限性，尤其是在缺乏物理墙壁的情况下，无法有效识别功能边界的问题。
核心思路：Prior-SG框架将场景图生成视为一个概率对齐问题，通过动态合成的先验图来指导高层语义推断，从而提高了系统的灵活性和准确性。
技术框架：该框架包括多个模块：首先，系统通过RGB-D传感器流聚合数据，生成物理基础的实例图；接着，利用最大后验估计推断高层语义，最后通过优化马尔可夫随机场融合视觉、几何和离散对象的专家信息与拓扑先验。
关键创新：Prior-SG的核心创新在于其将场景图生成视为概率对齐问题，并通过先验图的引入，解决了局部感知模糊性，提供了零-shot本体灵活性。
关键设计：在技术细节上，系统采用多尺度特征融合策略，并通过优化马尔可夫随机场来整合不同专家的信息，确保了高效的语义推断和区域分割。具体的损失函数和网络结构设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
Prior-SG在多样化的模拟和真实环境中验证，达到了最先进的语义区域分割精度，相较于最近的基线方法，显著提高了功能边界的识别能力，尤其是在缺乏物理墙壁的情况下，表现出色。该方法的零-shot本体灵活性使得机器人能够根据高层任务重构空间划分。
🎯 应用场景
Prior-SG框架具有广泛的应用潜力，特别是在自主机器人、智能家居和增强现实等领域。其能够灵活适应不同的环境结构和任务需求，为机器人提供更高效的空间理解和决策能力，未来可能推动智能环境的进一步发展。
📄 摘要（原文）
Hierarchical 3D scene graphs are a promising representation for high-level spatial reasoning in autonomous mobile platforms. However, existing extraction frameworks typically rely on purely local visual clustering or strict geometric heuristics, such as wall-separated rooms, which fail in open-plan or arbitrarily-structured environments. We propose Prior-SG, a task- and prior-driven framework that casts scene graph generation fundamentally as a probabilistic alignment problem. As the robot explores, it continuously aggregates an incoming RGB-D sensor stream into a physically grounded Instance Graph utilizing a multi-scale, open-vocabulary feature fusion strategy. The system then infers the high-level functional semantics of this map through a Maximum A Posteriori (MAP) estimate, guided by a Prior Graph-a logical expectation of the environment's structure and task-relevant vocabulary synthesized dynamically by a Large Language Model. By optimizing a Markov Random Field that fuses heterogeneous experts (visual, geometric, and discrete objects) with these topological priors, the system resolves local perceptual ambiguities. We validate this approach across diverse simulated residential datasets and large, open-plan real-world environments. Prior-SG achieves state-of-the-art semantic region segmentation accuracy compared to recent baselines, robustly delineates distant functional boundaries in the absence of physical walls, and uniquely provides zero-shot ontological flexibility, enabling the robot to entirely restructure its spatial partitioning based on a given high-level task.