SGFormer: Structure-Guided Transformer for Robust Local Feature Matching

📄 arXiv: 2608.03423v1 📥 PDF

作者: Runyu Zhu

分类: cs.CV

发布日期: 2026-08-04

💡 一句话要点

提出SGFormer以解决特征匹配中的注意力分散问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 特征匹配 Transformer 结构引导 注意力机制 计算机视觉 3D重建 视觉定位

📋 核心要点

  1. 现有方法在特征匹配中存在注意力分散的问题，导致高置信度匹配分布在无效区域，尤其在视角变化大的场景中表现不佳。
  2. SGFormer通过引入Triple-Structure-Attention模块，增强了对显著结构的关注，采用半稠密的粗到细管道进行特征提取。
  3. 实验结果显示，SGFormer在多个基准数据集上显著提高了匹配准确性，成功缓解了注意力分散现象。

📝 摘要（中文）

局部特征匹配是摄影测量中的基本组成部分，对于3D重建、立体映射和视觉定位等任务至关重要。尽管近期的无检测器匹配方法如LoFTR已取得进展，但其利用无约束注意力机制的全局特征在某些场景中妨碍了模型对显著结构的关注，导致注意力分散现象。为了解决这一问题，本文提出了SGFormer（结构引导Transformer），该网络通过自适应更新重叠区域显著结构附近的特征注意力，显著提高了匹配准确性。实验结果表明，SGFormer有效缓解了注意力分散现象，提升了匹配性能。

🔬 方法详解

问题定义：论文要解决的具体问题是特征匹配中的注意力分散现象，现有方法在处理视角变化大的场景时，容易将相似特征的注意力分配到无关区域，降低了匹配的可靠性。

核心思路：SGFormer的核心思路是通过引入结构引导机制，增强模型对显著结构的关注，采用自适应的注意力更新策略，以提高匹配的准确性和可靠性。

技术框架：SGFormer采用半稠密的粗到细特征提取管道，主要模块包括Triple-Structure-Attention（TSA）模块，该模块利用浅层局部特征增强显著结构周围的表示，指导后续的Transformer阶段。

关键创新：最重要的技术创新点是TSA模块的设计，它通过结合浅层特征和全局注意力机制，有效提升了对显著结构的关注，显著区别于传统的Transformer方法。

关键设计：SGFormer在网络结构上采用了多层次特征融合，损失函数设计上注重匹配区域的选择性关注，确保模型在训练时能够更好地学习到有效的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SGFormer在多个数据集上相较于基线方法显著提高了匹配准确性，具体提升幅度达到XX%，有效缓解了注意力分散问题，展示了其在复杂场景下的优越性能。

🎯 应用场景

SGFormer在3D重建、立体视觉和视觉定位等领域具有广泛的应用潜力。通过提高特征匹配的准确性，该方法能够显著提升相关任务的效果，为实际应用提供更可靠的技术支持，推动计算机视觉领域的发展。

📄 摘要（原文）

Local feature matching is a fundamental component of photogrammetry, enabling accurate image correspondence critical for tasks such as 3D reconstruction, stereo mapping, and visual localization. While recent detector-free matching methods, like LoFTR, have advanced the field, the global features obtained by leveraging the global-range modeling capacity of the unconstrained attention mechanism compromise the model's attention to the salient structures in certain scenarios. This limitation leads to a phenomenon we define as attention divergence, wherein a portion of high-confidence matches are distributed outside the valid matching region (overlapping region), especially in scenes with large viewpoint variations. This occurs because similar features in irrelevant regions may receive equal weighting and consideration within the standard Transformer, limiting matching reliability in challenging photogrammetric environments. To address this issue in feature matching, we propose SGFormer (Structure-Guided Transformer), a novel structure-aware matching network that adaptively updates attention on features near salient structure in overlapping regions. SGFormer employs a semi-dense coarse-to-fine pipeline and incorporates the proposed Triple-Structure-Attention (TSA) module into the backbone net for extracting distinctive features. The TSA module utilizes shallow local features from early network layers to enhance the representation around salient structure, guiding subsequent transformer stages to intensify the model's focus on regions with salient structure across the global scope. SGFormer, thereby reinforcing attention to visually consistent areas while mitigating the influence of non-overlapping regions. Extensive experiments show that SGFormer significantly mitigates attention divergence and improves matching accuracy.