Anchored Rank-Adversarial Fine-Tuning Pretrained Visual Place Recognition Models

📄 arXiv: 2611.05286v1 📥 PDF

作者: Mostafa Kira, Bader Rasheed, Manuel Mazzara

分类: cs.CV

发布日期: 2026-11-03

备注: 15 pages, 3 figures, 8 tables

💡 一句话要点

提出锚定排名对抗微调以提升视觉场所识别模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉场所识别 对抗训练 模型鲁棒性 深度学习 机器学习

📋 核心要点

  1. 现有的视觉场所识别模型在对抗攻击下表现不佳，尤其是在微小扰动下的鲁棒性不足。
  2. 本文提出的锚定排名对抗微调（ARAFT）方法，通过引入锚定机制和列表排名损失来增强模型的鲁棒性。
  3. 实验结果显示，ARAFT在多个基准测试中显著提高了模型的鲁棒性，尤其是在对抗攻击下的召回率表现优异。

📝 摘要（中文）

视觉场所识别（VPR）通过检索相似的地理标记图像来定位相机。现有的基础模型在不同城市、季节和光照条件下表现准确，但对对抗扰动的鲁棒性不足。在1/255的白盒攻击下，SuperVLAD和BoQ的顶级召回率（R@1）仅为0.2%。为此，本文提出了锚定排名对抗微调（ARAFT），通过对每个对抗查询的最难正样本和冻结的预训练模型的干净描述符进行列表排名损失微调。实验结果表明，ARAFT显著提高了SuperVLAD和BoQ的鲁棒R@1，分别达到47.3和55.3，且在清洁成本相近的情况下，表现优于传统的对抗训练。

🔬 方法详解

问题定义：本文旨在解决现有视觉场所识别模型在对抗扰动下的鲁棒性不足问题。现有模型在微小的对抗攻击下表现不佳，尤其是SuperVLAD和BoQ在1/255的攻击下几乎无法保持有效的召回率。

核心思路：提出锚定排名对抗微调（ARAFT），通过对抗查询的最难正样本和冻结的预训练模型的干净描述符进行微调，从而提升模型在对抗攻击下的表现。

技术框架：ARAFT的整体架构包括对抗查询的生成、列表排名损失的计算以及基于清洁准确度的检查点选择。每个阶段都旨在优化模型的鲁棒性与准确性之间的平衡。

关键创新：ARAFT的核心创新在于引入了锚定机制和列表排名损失，这与传统的对抗训练方法有本质区别，后者往往忽视了模型在干净样本上的表现。

关键设计：在损失函数设计上，ARAFT使用了列表排名损失，确保模型在对抗样本和干净样本之间的平衡。同时，检查点选择是在预设的清洁准确度预算下进行的，以确保模型的有效性。

📊 实验亮点

实验结果显示，ARAFT在SuperVLAD和BoQ上分别将鲁棒R@1提升至47.3和55.3，而传统对抗训练在相似清洁成本下无法达到此效果。此外，ARAFT在面对更强的优化器时仍保持鲁棒性，没有出现梯度掩蔽现象。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升视觉识别系统在复杂环境下的鲁棒性。未来，ARAFT方法有望推动更广泛的视觉识别技术在实际应用中的可靠性和稳定性。

📄 摘要（原文）

Visual place recognition (VPR) localises a camera by retrieving similar geo-tagged images, and current foundation-model VPR models are accurate across cities, seasons and illumination, but not robust to adversarial perturbations: under a white-box attack on the ranking at an imperceptible budget of 1/255, SuperVLAD and BoQ keep at most 0.2% top-1 recall (R@1) on four benchmarks. We propose anchored rank-adversarial fine-tuning (ARAFT), which fine-tunes a released model with a listwise rank loss on each adversarial query's hardest positive and an anchor to the clean descriptor of the frozen pretrained model. Checkpoints are selected under a clean-accuracy budget fixed in advance, and the full trade-off is reported. Within five validation R@1 points of clean cost, plain adversarial training has no admissible checkpoint, whereas ARAFT raises robust R@1 from zero to 47.3 on SuperVLAD and 55.3 on BoQ; plain adversarial training exceeds this only at about three times the clean cost. Against unbudgeted plain adversarial training on the test sets, ARAFT matches its robust R@1 at 2/255 with about ten more clean R@1 points. At 4/255, plain adversarial training is 6-9 robust R@1 points ahead, while ARAFT still keeps its ten-point clean advantage. Developed on SuperVLAD, ARAFT transfers to BoQ without re-tuning, and its robustness holds against stronger optimisers, with no sign of gradient masking.