The Overlooked Value of Test-time Reference Sets in Visual Place Recognition

📄 arXiv: 2510.03751v1 📥 PDF

作者: Mubariz Zaffar, Liangliang Nan, Sebastian Scherer, Julian F. P. Kooij

分类: cs.CV

发布日期: 2025-10-04

备注: Accepted at ICCV 2025 Workshop CrocoDL

💡 一句话要点

提出参考集微调方法，提升视觉定位在跨域场景下的泛化性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 域适应 参考集微调 机器人导航 图像检索

📋 核心要点

  1. 现有VPR方法在跨域场景下泛化性不足，测试环境与训练数据差异大导致性能下降。
  2. 利用测试时可用的参考集（地图）信息，通过微调VPR模型来适应目标域。
  3. 参考集微调（RSF）在多个具有挑战性的数据集上提升了SOTA性能，且保持了模型的泛化能力。

📝 摘要（中文）

视觉定位（VPR）旨在给定查询图像，从参考数据库中检索同一地点的图像，同时对视角和外观变化保持鲁棒性。最近的研究表明，一些VPR基准测试可以通过使用视觉基础模型作为骨干网络，并在大规模和多样化的VPR特定数据集上训练的方法来解决。然而，当测试环境与常见的VPR训练数据集显著不同时，一些基准测试仍然具有挑战性。本文提出了一种互补的、未被充分利用的信息来源，以弥合训练-测试域的差距，从而进一步提高最先进（SOTA）VPR方法在这些具有挑战性的基准测试上的性能。具体而言，我们发现测试时的参考集（即“地图”）包含目标域的图像和姿态，并且在许多VPR应用中必须在接收到测试时查询之前可用。因此，我们提出在地图上对VPR模型执行简单的参考集微调（RSF），从而提高了这些具有挑战性的数据集上的SOTA性能（平均Recall@1提高了约2.3%）。微调后的模型保留了泛化能力，并且RSF适用于不同的测试数据集。

🔬 方法详解

问题定义：视觉定位（VPR）旨在解决在不同视角和光照条件下，从参考图像数据库中检索与查询图像对应位置的问题。现有方法在训练数据与测试环境相似时表现良好，但当测试环境与训练数据存在显著差异时，性能会急剧下降。现有方法忽略了测试时可用的参考集信息，未能充分利用目标域的数据来提升模型性能。

核心思路：论文的核心思路是利用测试时可用的参考集（即目标环境的地图）对VPR模型进行微调，从而使模型更好地适应目标域的特征分布。这种方法假设在实际应用中，目标环境的地图通常是已知的，可以在接收到查询图像之前使用。通过在目标域数据上进行微调，可以有效减小训练域和测试域之间的差异，提高VPR的准确性。

技术框架：该方法主要包含两个阶段：首先，使用大规模数据集预训练VPR模型；然后，在测试时，利用目标环境的参考集对预训练模型进行微调。微调过程使用参考集中的图像和对应的姿态信息，通过优化模型参数，使其更好地适应目标域的特征分布。整个框架简单易实现，可以方便地集成到现有的VPR系统中。

关键创新：该论文的关键创新在于提出了参考集微调（RSF）的概念，并将其应用于VPR任务中。与传统的VPR方法不同，RSF充分利用了测试时可用的目标域信息，通过微调模型来减小域差异。这种方法不需要额外的训练数据，只需要目标环境的参考集，因此具有很高的实用价值。

关键设计：RSF的关键设计包括选择合适的微调策略和损失函数。论文中使用了简单的微调策略，即固定预训练模型的部分参数，只微调部分参数，以防止过拟合。损失函数可以选择常用的VPR损失函数，如Triplet Loss或Contrastive Loss。此外，参考集的大小和质量也会影响微调效果，需要根据具体应用场景进行调整。

📊 实验亮点

实验结果表明，参考集微调（RSF）在多个具有挑战性的VPR数据集上显著提高了SOTA方法的性能。例如，在某些数据集上，Recall@1指标平均提升了约2.3%。此外，实验还证明了微调后的模型仍然具有良好的泛化能力，可以在不同的测试数据集上取得良好的效果。这些结果表明，RSF是一种有效的跨域VPR方法。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。在这些应用中，机器人或车辆需要在未知环境中进行定位和导航。通过利用预先构建的地图（参考集）对VPR模型进行微调，可以提高定位的准确性和鲁棒性，从而实现更可靠的自主导航。此外，该方法还可以应用于跨季节、跨光照等复杂环境下的视觉定位。

📄 摘要（原文）

Given a query image, Visual Place Recognition (VPR) is the task of retrieving an image of the same place from a reference database with robustness to viewpoint and appearance changes. Recent works show that some VPR benchmarks are solved by methods using Vision-Foundation-Model backbones and trained on large-scale and diverse VPR-specific datasets. Several benchmarks remain challenging, particularly when the test environments differ significantly from the usual VPR training datasets. We propose a complementary, unexplored source of information to bridge the train-test domain gap, which can further improve the performance of State-of-the-Art (SOTA) VPR methods on such challenging benchmarks. Concretely, we identify that the test-time reference set, the "map", contains images and poses of the target domain, and must be available before the test-time query is received in several VPR applications. Therefore, we propose to perform simple Reference-Set-Finetuning (RSF) of VPR models on the map, boosting the SOTA (~2.3% increase on average for Recall@1) on these challenging datasets. Finetuned models retain generalization, and RSF works across diverse test datasets.