Manifold Embedding of Deep Image Features for Image Matching via Neural Adjoint Maps
作者: Nafie El Amrani, Moritz Heep, Florian Bernard
分类: cs.CV
发布日期: 2026-11-03
备注: 10 pages main paper, 12 pages appendix
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于神经伴随映射的流形嵌入方法以解决图像匹配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像匹配 深度学习 流形嵌入 功能映射 神经网络 计算机视觉 非线性映射
📋 核心要点
- 现有的图像匹配方法在处理密集对应时常常产生噪声对应关系，尤其是在使用基础模型特征时。
- 本文提出了一种基于功能映射的图像匹配方法，利用深度图像特征的流形嵌入和Galerkin方法来构建有效的几何结构。
- 实验结果显示，该方法在多个密集对应基准上超越了现有的零样本图像对应方法，设定了新的性能标准。
📝 摘要（中文）
在计算机视觉中，估计不同物体实例之间的语义对应关系是一个基本挑战。尽管基础模型的进展显著推动了图像对应问题的解决，但现有方法常常缺乏足够的正则化，导致噪声对应关系，尤其是在密集对应的情况下。本文通过功能映射方法解决图像匹配问题，利用深度图像特征的流形嵌入，结合Galerkin方法推导出离散的Laplace-Beltrami算子，并引入神经伴随映射以表示非线性映射。实验结果表明，该方法在多个真实图像的密集对应基准上设定了零样本图像对应方法的新状态。
🔬 方法详解
问题定义：本文旨在解决不同物体实例之间的语义对应关系问题。现有方法在密集对应时常常产生噪声，缺乏有效的几何结构支持。
核心思路：通过功能映射方法，结合深度图像特征的流形嵌入，利用Galerkin方法构建离散的Laplace-Beltrami算子，从而为图像定义有意义的几何结构。
技术框架：整体框架包括特征提取、流形嵌入、Laplace-Beltrami算子的构建和神经伴随映射的应用。首先提取深度特征，然后通过Galerkin方法构建流形，最后利用神经伴随映射进行非线性映射的表示。
关键创新：本研究的创新点在于将深度图像特征的流形嵌入与功能映射结合，提出了一种新的几何结构表示方法，显著提升了图像匹配的准确性。
关键设计：在模型设计中，使用了离散Laplace-Beltrami算子，并通过神经网络实现非线性映射，确保了模型的灵活性和表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在多个密集对应基准上达到了新的性能标准，相较于现有的零样本图像对应方法，性能提升幅度显著，具体提升数据未知，展示了该方法的有效性和优越性。
🎯 应用场景
该研究在计算机视觉领域具有广泛的应用潜力，尤其是在物体识别、图像检索和增强现实等场景中。通过提高图像匹配的准确性，可以显著提升这些应用的性能和用户体验。未来，该方法可能推动更多基于图像的智能应用的发展。
📄 摘要（原文）
Estimating semantic correspondences between different object instances of similar categories in real-world images is a fundamental challenge in computer vision. While the recent progress in foundation models has significantly advanced solutions for such difficult image correspondence problems, respective methods are often insufficiently regularised. For example, common nearest-neighbour matching with foundation model features often results in noisy correspondences, which is particularly prominent when solving for dense correspondences. In this work, we tackle image matching via functional maps, which have been popularised for 3D shape matching due to their powerful spectral formalism utilising an efficient low-dimensional linear representation. However, functional maps require that domains (in our cases the rectangular image grids) are equipped with an informative and non-trivial geometry. To define a meaningful manifold structure for images, we use Galerkin's method from finite elements to derive a discrete Laplace-Beltrami operator (LBO) based on a manifold embedding of deep image features. Further, we leverage a neural adjoint map that allows to represent non-linear mappings. We demonstrate that our method sets the new state of the art among zero-shot image correspondence methods on multiple dense correspondence benchmarks of real-world images. Our code is publicly available: https://github.com/NafieAmrani/NAMI