SparseGraph-I2P: Consistency-Guided Hypothesis Selection for Efficient Image-to-Point-Cloud Registration

📄 arXiv: 2611.04591v1 📥 PDF

作者: Ziyang Yu, Xiang Li, Qiong Chang, Jun Miyazaki

分类: cs.CV, cs.MM

发布日期: 2026-11-03

备注: 20 pages

💡 一句话要点

提出SparseGraph-I2P以解决图像与点云注册中的模糊配对问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像与点云注册 深度感知 稀疏匹配 姿态求解 机器人视觉 增强现实 自动驾驶

📋 核心要点

  1. 现有的图像与点云注册方法在处理模糊补丁对时容易丢失正确的匹配，导致召回率低。
  2. SparseGraph-I2P通过构建粗假设图，结合外观与深度信息，优化补丁对的选择，从而提高注册的准确性。
  3. 在RGB-D Scenes V2和7-Scenes数据集上，SparseGraph-I2P实现了最高的注册召回率和最低的延迟，显示出显著的性能提升。

📝 摘要（中文）

在粗到细的图像与点云(I2P)注册中，现有方法可能会丢弃正确但模糊的补丁对，同时保留更多候选项会导致重叠补丁的细匹配重复。SparseGraph-I2P旨在通过提高姿态求解器中的内点比例来改善注册召回率，利用传感器或单目深度。该方法结合外观与深度推导的第一和第二阶兼容性，构建了一个粗假设图，以选择固定预算的补丁对。Sparse Fine Matching对每个查询像素进行一次解码，并跳过由与同一点云区域配对的祖先补丁覆盖的像素-点比较。实验结果表明，SparseGraph-I2P在RGB-D Scenes V2和7-Scenes数据集上实现了最高的注册召回率和最低的延迟。

🔬 方法详解

问题定义：本论文旨在解决图像与点云注册中，粗到细方法可能丢弃正确但模糊的补丁对的问题。现有方法在保留更多候选项时，往往导致细匹配的重复计算，影响效率和准确性。

核心思路：SparseGraph-I2P的核心思路是通过提高姿态求解器中的内点比例，结合传感器或单目深度信息，优化补丁对的选择，从而改善注册的召回率。

技术框架：该方法的整体架构包括两个主要模块：粗假设图和稀疏细匹配。粗假设图结合外观与深度信息，选择固定预算的补丁对；稀疏细匹配则对每个查询像素进行解码，并跳过冗余的像素-点比较。

关键创新：SparseGraph-I2P的创新之处在于通过深度感知过滤，利用SC2谱支持对匹配进行排序，从而优化单次EPnP求解的效率。这一方法显著提高了内点比例和注册召回率。

关键设计：在设计上，SparseGraph-I2P采用了深度或逆深度的几何校准，以提高匹配的准确性。此外，深度感知过滤的实现细节和补丁对的选择策略也是其关键设计要素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RGB-D Scenes V2和7-Scenes数据集上，SparseGraph-I2P实现了最高的注册召回率和最低的延迟，具体表现为在使用传感器深度时，召回率显著高于其他对比方法。此外，在使用预测深度的情况下，仍能保持在RGB-D Scenes V2上的最高召回率，尽管增加了校准成本。

🎯 应用场景

该研究在机器人视觉、增强现实和自动驾驶等领域具有广泛的应用潜力。通过提高图像与点云的注册精度，SparseGraph-I2P能够增强环境感知能力，提升系统的智能化水平，进而推动相关技术的发展与应用。

📄 摘要（原文）

Coarse-to-fine image-to-point-cloud (I2P) registration risks discarding correct but ambiguous patch pairs, while retaining more candidates repeats fine matching over overlapping patches. SparseGraph-I2P aims to improve registration recall by increasing the inlier ratio at the pose solver, using sensor or monocular depth. A Coarse Hypothesis Graph combines appearance with depth-derived first- and second-order compatibility to select a fixed budget of patch pairs. Sparse Fine Matching decodes each queried pixel once and skips pixel--point comparisons covered by an ancestor patch paired with the same point-cloud region. With sensor depth, depth-aware filtering ranks correspondences by SC2 spectral support for a single EPnP solve. With monocular depth, depth or inverse depth is calibrated from correspondence geometry before filtering. SparseGraph-I2P achieves the highest registration recall and lowest latency among the compared methods on RGB-D Scenes V2 and 7-Scenes with sensor depth. With predicted depth, it retains the highest recall on RGB-D Scenes V2 at an additional calibration cost. Code will be released.