Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
作者: Yifan Wang, Xingyi He, Sida Peng, Dongli Tan, Xiaowei Zhou
分类: cs.CV
发布日期: 2024-03-07 (更新: 2024-03-11)
备注: CVPR 2024; Project page: https://zju3dv.github.io/efficientloftr
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出高效LoFTR以解决半稠密特征匹配速度慢的问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 特征匹配 计算机视觉 深度学习 图像检索 3D重建 效率优化 半稠密匹配
📋 核心要点
- 现有的LoFTR方法在处理大视角变化和纹理稀缺场景时效率较低，限制了其实际应用。
- 论文提出了一种聚合注意力机制和自适应令牌选择，以提高特征匹配的效率和准确性。
- 实验结果表明，优化后的模型速度提升约2.5倍，并在准确性上超过了其他半稠密匹配器。
📝 摘要（中文）
我们提出了一种新方法，以高效地在图像间生成半稠密匹配。之前的无检测器匹配器LoFTR在处理大视角变化和纹理稀缺场景时表现出色，但效率较低。我们重新审视其设计选择，并针对效率和准确性进行了多项改进。关键观察是，针对整个特征图执行变换是冗余的，因此我们提出了一种聚合注意力机制和自适应令牌选择以提高效率。此外，我们发现LoFTR的细粒度相关模块存在空间变异，这对匹配准确性不利。我们提出了一种新颖的两阶段相关层，以实现准确的亚像素对应。我们的高效优化模型比LoFTR快约2.5倍，甚至超越了最先进的稀疏匹配管道SuperPoint + LightGlue。大量实验表明，我们的方法在准确性上优于竞争的半稠密匹配器，并具有显著的效率优势。这为大规模或延迟敏感的应用（如图像检索和3D重建）开辟了令人兴奋的前景。
🔬 方法详解
问题定义：本论文旨在解决现有LoFTR方法在半稠密特征匹配中的低效率问题，尤其是在大视角变化和纹理稀缺的场景下。
核心思路：通过引入聚合注意力机制和自适应令牌选择，减少冗余计算，从而提高匹配效率。同时，针对细粒度相关模块的空间变异问题，提出两阶段相关层以提升匹配准确性。
技术框架：整体架构包括特征提取、聚合注意力机制、两阶段相关层和匹配输出。特征提取阶段负责从输入图像中提取特征，聚合注意力机制用于高效处理特征图，而两阶段相关层则用于精确计算匹配。
关键创新：最重要的技术创新在于聚合注意力机制和两阶段相关层的引入，这与传统方法相比，显著减少了计算冗余并提高了匹配精度。
关键设计：在设计中，采用了自适应令牌选择策略，以动态选择重要特征，同时在两阶段相关层中引入了亚像素级别的匹配计算，以提升整体准确性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，优化后的模型在速度上比LoFTR快约2.5倍，并且在准确性上超过了竞争的半稠密匹配器，展现出显著的性能提升。这一成果为实际应用提供了更高效的解决方案。
🎯 应用场景
该研究的潜在应用领域包括图像检索、3D重建以及其他需要高效特征匹配的计算机视觉任务。通过提高匹配效率和准确性，该方法能够在大规模数据处理和实时应用中发挥重要作用，推动相关技术的发展。
📄 摘要（原文）
We present a novel method for efficiently producing semi-dense matches across images. Previous detector-free matcher LoFTR has shown remarkable matching capability in handling large-viewpoint change and texture-poor scenarios but suffers from low efficiency. We revisit its design choices and derive multiple improvements for both efficiency and accuracy. One key observation is that performing the transformer over the entire feature map is redundant due to shared local information, therefore we propose an aggregated attention mechanism with adaptive token selection for efficiency. Furthermore, we find spatial variance exists in LoFTR's fine correlation module, which is adverse to matching accuracy. A novel two-stage correlation layer is proposed to achieve accurate subpixel correspondences for accuracy improvement. Our efficiency optimized model is $\sim 2.5\times$ faster than LoFTR which can even surpass state-of-the-art efficient sparse matching pipeline SuperPoint + LightGlue. Moreover, extensive experiments show that our method can achieve higher accuracy compared with competitive semi-dense matchers, with considerable efficiency benefits. This opens up exciting prospects for large-scale or latency-sensitive applications such as image retrieval and 3D reconstruction. Project page: https://zju3dv.github.io/efficientloftr.