Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization

📄 arXiv: 2606.24767v1 📥 PDF

作者: Zhaopeng Cui, Jiarui Hu, Jingbo Liu, Boming Zhao, Xiyue Guo, Boyin Feng, Haocheng Peng, Yujun Shen, Hujun Bao, Guofeng Zhang

分类: cs.CV, cs.RO

发布日期: 2026-06-23

备注: Accepted by RA-L 2026

💡 一句话要点

提出OpenReLoc以解决室内视觉重定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 室内视觉重定位 开放词汇 多模态机制 物体导向 姿态估计 Distance-IoU 语义理解

📋 核心要点

  1. 现有方法主要集中于低级视觉，难以有效感知场景的语义和构成，限制了重定位的准确性和适用性。
  2. 本文提出OpenReLoc，通过多模态机制整合开放词汇语义知识，利用物体单元进行相机重定位。
  3. 实验结果显示，OpenReLoc在多个数据集上实现了显著的重定位召回率和准确性提升。

📝 摘要（中文）

室内视觉重定位在新兴的空间和具身AI应用中扮演着关键角色。然而，现有研究主要集中于低级视觉方案，难以感知场景语义和构成，限制了其可解释性和适用性。本文探讨如何将丰富的物体信息（包括语义、布局和几何）组织成结构化的地图表示，利用物体单元驱动相机重定位任务。为此，我们提出了OpenReLoc，一个旨在提供场景理解和准确姿态估计能力的相机重定位系统。通过引入多模态机制，整合开放词汇语义知识，实现有效的2D-3D物体匹配。此外，我们设计了以物体为导向的参考框架作为位置先验，并基于Distance-IoU（DIOU）选择参考框架，支持可扩展场景。最后，为确保稳定和准确的姿态优化，我们提出了由物体形状引导的双路径2D迭代最近像素损失。实验结果表明，OpenReLoc在多个数据集上实现了优越的重定位召回率和准确性。

🔬 方法详解

问题定义：本文旨在解决室内视觉重定位中的场景理解和姿态估计问题。现有方法在感知场景语义和物体信息方面存在不足，导致重定位效果不佳。

核心思路：论文提出的核心思路是利用开放词汇的语义知识，通过多模态机制实现2D-3D物体匹配，从而提升重定位的准确性和可解释性。

技术框架：OpenReLoc系统的整体架构包括多模态语义整合模块、物体导向参考框架生成模块和姿态优化模块。首先，系统通过多模态机制整合不同来源的语义信息，然后生成物体导向的参考框架，最后进行姿态优化。

关键创新：最重要的技术创新在于引入开放词汇语义知识和物体导向的参考框架选择策略，结合Distance-IoU（DIOU）方法，使得系统能够在可扩展场景中有效工作。

关键设计：在损失函数设计上，采用了双路径2D迭代最近像素损失，特别关注物体形状，以确保姿态优化的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OpenReLoc在多个数据集上实现了重定位召回率和准确性的显著提升，相较于基线方法，召回率提高了XX%，准确性提升了YY%。这些结果验证了所提出方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括室内导航、机器人自主定位和增强现实等。通过提高视觉重定位的准确性，OpenReLoc能够在复杂环境中实现更高效的空间理解和交互，推动具身AI技术的发展。

📄 摘要（原文）

Indoor visual relocalization plays a critical role in emerging spatial and embodied AI applications. However, prior research was predominantly devoted to low-level vision schemes, struggling to perceive scene semantics and compositions, which limits both interpretability and applicability. In this paper, we explore the issue of how to organize rich object information in a scene, including semantics, layout, and geometry, into a structured map representation, thereby utilizing object units exclusively to drive the camera relocalization task. To this end, we propose OpenReLoc, a camera relocalization system designed to provide scene understanding and accurate pose estimation capabilities. Leveraging recent foundation models, we first introduce a multi-modal mechanism to integrate open-vocabulary semantic knowledge for effective 2D-3D object matching. Additionally, we design object-oriented reference frames as position priors, paired with a reference frame selection strategy based on the Distance-IoU (DIOU), enabling extension to scalable scenes. Moreover, to ensure stable and accurate pose optimization, we also propose a dual-path 2D Iterative Closest Pixel loss guided by object shape. Experimental results demonstrate that OpenReLoc achieves superior relocalization recall and accuracy across various datasets. Our source code will be released upon acceptance.