Think While You Map: Asynchronous Vision-Language Agents for Incremental 3D Scene Graphs
作者: Deniz Bickici, Michael Pabst, Shohei Mori, Dieter Schmalstieg
分类: cs.CV
发布日期: 2026-06-30
备注: Accepted to ECCV 2026. Project page: https://denizbickici.github.io/thinkgraphs/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出异步视觉语言代理以解决增量3D场景图构建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D场景图 异步处理 视觉语言模型 增量建图 语义丰富
📋 核心要点
- 现有的3D场景图方法在重建和语义丰富之间存在顺序耦合，导致图形在探索时无法查询。
- 本文提出了一种异步架构，使在线映射与语义细化并行进行，从而提高了效率和查询能力。
- 实验结果表明，所提方法在多个基准上超越了现有技术，尤其在视觉基础任务上提升显著。
📝 摘要（中文）
开放词汇的3D场景图方法通常分为两个阶段：首先进行重建，然后通过视觉语言模型进行丰富，导致在探索过程中图形无法查询。本文提出了一种异步架构，使轻量级在线映射与重型语义细化并行运行。基于概率体素的骨干网络逐步维护稳定的对象身份，背景视觉语言模型代理逐步丰富图形。该框架通过语义回环闭合解决重复对象跟踪，附加细粒度视觉属性并推导对象之间的空间关系。多目标帧调度器通过选择一小组信息丰富的帧来分摊视觉语言模型的成本，最终生成的场景图在探索过程中可查询，并随着时间的推移而在语义上变得更加丰富。我们的算法在语义分割任务上与现有的开放词汇3D场景图方法相匹配或超越，并在三个视觉基础基准上超越了之前的最先进水平，提升幅度为15.3到18.8 A@0.25。
🔬 方法详解
问题定义：本文旨在解决现有开放词汇3D场景图方法在重建与语义丰富之间的顺序耦合问题，导致图形在探索过程中无法查询的痛点。
核心思路：提出异步架构，使轻量级的在线映射与重型的语义细化并行进行，从而在保持对象身份的同时，逐步丰富场景图。
技术框架：整体架构包括一个基于概率体素的骨干网络用于对象身份维护，以及背景视觉语言模型代理用于图形丰富。多目标帧调度器选择信息丰富的帧以降低计算成本。
关键创新：最重要的创新在于实现了异步处理，使得场景图在探索过程中可查询，并且随着时间推移逐步增加语义丰富性，这与传统方法的顺序处理有本质区别。
关键设计：采用概率体素网络来稳定对象身份，设计了语义回环闭合机制来解决重复跟踪问题，并通过细粒度视觉属性的附加来增强图形的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在语义分割任务上与现有开放词汇3D场景图方法相匹配或超越，并在三个视觉基础基准上提升15.3到18.8 A@0.25，显著提高了性能。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、增强现实和自动驾驶等场景，能够实时构建和更新环境模型，提升人机交互的智能化水平。未来，该方法有望在复杂环境下的自主导航和任务执行中发挥重要作用。
📄 摘要（原文）
Open-vocabulary 3D scene graph methods typically operate in two stages: first reconstruct, then enrich with vision-language models, leaving the graph unqueryable during exploration. We argue that this sequential coupling is unnecessary and propose an asynchronous architecture in which lightweight online mapping runs concurrently with heavyweight semantic refinement. A probabilistic voxel-based backbone maintains stable object identities incrementally, while background VLM agents progressively enrich the graph. This framework resolves duplicate object tracks through semantic loop closure, attaches fine-grained visual attributes and derives spatial relations between objects. A multi-target frame scheduler amortizes VLM cost by selecting a small set of informative frames that jointly cover multiple targets. The resulting scene graph is queryable during exploration and grows in semantic richness over time. Our method matches or outperforms existing open-vocabulary 3D scene graph methods on semantic segmentation (ScanNet, Replica) and surpasses the prior state-of-the-art across three visual grounding benchmarks (Sr3D+, Nr3D, ScanRefer) by 15.3 to 18.8 A@0.25. Project page: https://denizbickici.github.io/thinkgraphs/