PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models

📄 arXiv: 2606.16569v1 📥 PDF

作者: Zhiang Chen, Nahyuk Lee, Boyang Sun, Taein Kwon, Marc Pollefeys, Zuria Bauer, Sunghwan Hong

分类: cs.CV, cs.RO

发布日期: 2026-06-15

备注: Project page: https://rckola.github.io/prose/

💡 一句话要点

提出PROSE以解决无训练的自我中心场景注册问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心场景注册 视觉-语言模型 对象级3D场景图 无训练方法 增强现实 机器人导航 几何一致性

📋 核心要点

  1. 现有的场景注册方法依赖于清晰的点云数据，而自我中心视角下的图像往往模糊且重叠，导致难以恢复稠密几何信息。
  2. PROSE方法通过使用预训练的视觉-语言模型，将RGB序列转化为对象级3D场景图，并进行跨序列对象实例匹配，避免了传统方法的局限性。
  3. 在Aria Digital Twin和Aria Everyday Activities基准测试中，PROSE在注册精度上超越了几何和学习场景图的基线，展示了其有效性。

📝 摘要（中文）

场景注册是机器人和增强现实系统实现持久空间记忆的基础，然而在自我中心的环境中，传统方法面临着清晰点云缺失的问题。本文提出的PROSE方法利用预训练的视觉-语言模型进行场景理解和跨扫描匹配，避免了对深度传感器和训练的依赖。通过将RGB序列提升为对象级3D场景图，PROSE在多个基准测试中超越了几何和学习场景图的基线，展现出更高的注册精度和实际应用价值。

🔬 方法详解

问题定义：本文旨在解决自我中心场景注册中的挑战，现有方法依赖于清晰的点云数据，而在快速移动和部分重叠的视角下，难以获取这些数据。

核心思路：PROSE方法利用预训练的视觉-语言模型进行场景理解和对象匹配，避免了对深度传感器和训练的需求，提升了匹配的可靠性和可行性。

技术框架：该方法首先将RGB序列转化为对象级3D场景图，然后通过对象高度作为先验进行匹配，最后通过假设候选匹配对象并选择几何一致性最强的变换来解决刚性变换问题。

关键创新：PROSE的创新在于不需要任何学习参数和深度传感器，直接利用视觉-语言模型进行场景注册，显著提高了在自我中心数据下的匹配精度。

关键设计：在匹配过程中，使用了成对的同/不同查询来验证每个提议的匹配，并通过几何共识选择最佳的刚性变换，确保了匹配的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，PROSE方法在注册精度上超越了几何和学习场景图的基线，尤其是在RGB重建的点云上，展现出更高的准确性和一致性，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够为这些系统提供更为准确和持久的空间记忆。未来，PROSE方法可能会在智能家居、自动驾驶等领域发挥重要作用，提升用户体验和系统效率。

📄 摘要（原文）

Registering two captures of the same indoor space taken at different times underpins persistent spatial memory for robots and AR systems, yet the realistic version of this task is egocentric and its most scalable form is RGB-only. Head-mounted cameras yield blurry, fast-moving, partially overlapping views from which dense geometry is hard to recover. Classical registration leans on exactly the clean point clouds this setting lacks, while learned scene-graph methods require a pre-built or annotated graph and a trained matcher that we find brittle under egocentric data. We take a different route, using a pretrained vision-language model as the source of both scene understanding and cross-scan matching. Our method, PROSE (Prompted Scene rEgistration), lifts each RGB sequence into an object-level 3D scene graph using off-the-shelf foundation models for geometry, segmentation, and language, then prompts the same VLM to match object instances across the two RGB sequences. To make this matching tractable and reliable, we leverage object heights as a prior and verify each proposed match with a paired same/different query, then solve for the rigid transform by hypothesizing a candidate per matched object and selecting the one with the strongest geometric consensus. PROSE adds no learned parameters and requires no depth sensor, training, or annotated graph. On the egocentric Aria Digital Twin and Aria Everyday Activities benchmarks, it outperforms both geometric and learned scene-graph baselines in registration accuracy, on ground-truth and RGB-reconstructed point clouds alike, and the scene graph it produces transfers directly to downstream tasks.