GRLoc: Geometric Representation Regression for Visual Localization

📄 arXiv: 2511.13864v1 📥 PDF

作者: Changyang Li, Xuejian Ma, Lixiang Liu, Zhan Li, Qingan Yan, Yi Xu

分类: cs.CV

发布日期: 2025-11-17

💡 一句话要点

提出GRLoc：通过几何表示回归实现更鲁棒的视觉定位

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 视觉定位 绝对位姿回归 几何表示学习 逆渲染 相机位姿估计

📋 核心要点

  1. 传统绝对位姿回归模型缺乏对3D场景几何的理解，容易记忆训练数据，泛化能力受限。
  2. 论文提出几何表示回归(GRR)框架，通过预测解耦的几何表示（光线束方向和点图）来估计相机位姿。
  3. 实验结果表明，GRR在7-Scenes和Cambridge Landmarks数据集上取得了SOTA性能，验证了逆渲染建模的有效性。

📝 摘要（中文）

绝对位姿回归(APR)已成为视觉定位的一种引人注目的范例。然而，APR模型通常作为黑盒运行，直接从查询图像回归6自由度(6-DoF)位姿，这可能导致模型记忆训练视图，而不是理解3D场景几何。本文提出了一种基于几何的替代方案。受到新视角合成的启发，该方法从中间几何表示渲染图像，我们将APR重新定义为其逆过程，即直接从图像回归潜在的3D表示，我们称之为几何表示回归(GRR)。我们的模型显式地预测世界坐标系中的两个解耦的几何表示：(1)用于估计相机旋转的光线束方向，以及(2)用于估计相机平移的相应点图。然后使用可微确定性求解器从这些几何分量中恢复最终的6-DoF相机位姿。这种解耦方法将学习到的视觉到几何的映射与最终的位姿计算分离，从而将强大的几何先验引入网络。我们发现，显式地解耦旋转和平移预测可以显著提高性能。我们在7-Scenes和Cambridge Landmarks数据集上展示了最先进的性能，验证了对逆渲染过程进行建模是实现通用绝对位姿估计的更鲁棒的途径。

🔬 方法详解

问题定义：绝对位姿回归(APR)旨在直接从图像预测相机的6自由度位姿。然而，现有的APR方法通常将模型视为黑盒，缺乏对场景几何的显式建模，导致模型容易过拟合训练数据，泛化能力较差。这些方法难以应对光照变化、视角差异等挑战。

核心思路：论文的核心思路是将APR问题转化为一个逆渲染问题。通过预测图像对应的3D几何表示，而不是直接回归位姿，模型可以更好地理解场景结构，从而提高泛化能力。具体来说，模型预测两个解耦的几何表示：光线束方向（用于估计旋转）和点图（用于估计平移）。

技术框架：GRLoc框架包含以下主要模块：1) 特征提取模块：提取输入图像的视觉特征。2) 几何表示回归模块：基于视觉特征，预测光线束方向和点图。3) 位姿求解模块：利用可微的确定性求解器，从光线束方向和点图中恢复相机的6自由度位姿。整个框架是端到端可训练的。

关键创新：GRLoc的关键创新在于将绝对位姿回归问题转化为几何表示回归问题，并显式地解耦了旋转和平移的预测。这种解耦方式引入了更强的几何先验，使得模型能够更好地理解场景结构，从而提高泛化能力。与直接回归位姿的方法相比，GRLoc更关注学习图像与3D几何之间的映射关系。

关键设计：在几何表示回归模块中，论文使用了卷积神经网络来预测光线束方向和点图。损失函数包括光线束方向的回归损失和点图的回归损失。位姿求解模块采用了一种可微的迭代最近点(ICP)算法，以确保整个框架的可微性。具体网络结构和参数设置在论文中有详细描述。

📊 实验亮点

GRLoc在7-Scenes和Cambridge Landmarks数据集上取得了state-of-the-art的性能。例如，在7-Scenes数据集上，GRLoc的平均定位误差显著低于现有方法。实验结果表明，显式地解耦旋转和平移预测可以显著提高性能，验证了逆渲染建模的有效性。

🎯 应用场景

该研究成果可应用于增强现实、机器人导航、自动驾驶等领域。通过更准确的视觉定位，可以提升AR应用的沉浸感，提高机器人导航的精度和鲁棒性，以及增强自动驾驶系统的环境感知能力。未来，该方法有望扩展到更大规模、更复杂的场景中。

📄 摘要（原文）

Absolute Pose Regression (APR) has emerged as a compelling paradigm for visual localization. However, APR models typically operate as black boxes, directly regressing a 6-DoF pose from a query image, which can lead to memorizing training views rather than understanding 3D scene geometry. In this work, we propose a geometrically-grounded alternative. Inspired by novel view synthesis, which renders images from intermediate geometric representations, we reformulate APR as its inverse that regresses the underlying 3D representations directly from the image, and we name this paradigm Geometric Representation Regression (GRR). Our model explicitly predicts two disentangled geometric representations in the world coordinate system: (1) a ray bundle's directions to estimate camera rotation, and (2) a corresponding pointmap to estimate camera translation. The final 6-DoF camera pose is then recovered from these geometric components using a differentiable deterministic solver. This disentangled approach, which separates the learned visual-to-geometry mapping from the final pose calculation, introduces a strong geometric prior into the network. We find that the explicit decoupling of rotation and translation predictions measurably boosts performance. We demonstrate state-of-the-art performance on 7-Scenes and Cambridge Landmarks datasets, validating that modeling the inverse rendering process is a more robust path toward generalizable absolute pose estimation.