RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

📄 arXiv: 2608.19693v1 📥 PDF

作者: Johannes Künzel, Peter Eisert, Anna Hilsmann

分类: cs.CV, cs.LG

发布日期: 2026-08-20

备注: LIMIT@ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出RIPE++以解决稀疏关键点学习中的监督不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 稀疏关键点提取 强化学习 几何一致性 视觉SLAM 医学图像配准 特征学习 低纹理视频

📋 核心要点

  1. 现有的关键点学习方法依赖于准确的相机姿态或深度监督，限制了其在实际应用中的有效性。
  2. 本文提出RIPE++，通过从单一正样本对中提取几何一致性信号来生成奖励和惩罚，实现仅依赖正样本对的特征学习。
  3. 在MegaDepth1500数据集上，AUC@5从56.58提升至59.65，且该方法在低纹理医学视频序列中表现出色。

📝 摘要（中文）

稀疏关键点提取和匹配是几何计算机视觉中的核心任务，包括运动重建、视觉SLAM、增强现实和医学图像配准。然而，现有的关键点学习方法通常依赖于准确的相机姿态或深度监督，这在实际场景中往往不可用。本文提出了一种新的强化学习方法RIPE++，通过从单一正样本对中提取几何一致性信号来生成奖励和惩罚，从而实现仅依赖正样本对的特征学习。我们在MegaDepth1500数据集上将AUC@5的性能从56.58提升至59.65，并在低纹理医学视频序列上验证了该方法的有效性，展示了与全监督方法的竞争性结果。

🔬 方法详解

问题定义：本文旨在解决稀疏关键点学习中对准确相机姿态或深度监督的依赖问题。现有方法如RIPE使用粗糙的二元奖励和负样本对，导致训练不稳定和描述符的可区分性不足。

核心思路：RIPE++通过从单一正样本对中提取几何一致性信号，生成奖励和惩罚，避免了对负样本的依赖。这种方法提供了更丰富的监督信号，使得在极少监督下也能学习到具有区分性的特征。

技术框架：该方法的整体架构包括关键点检测和描述符学习两个主要阶段。首先，通过强化学习框架生成奖励信号，然后在匹配阶段将该信号扩展到LightGlue，以提高匹配性能。

关键创新：RIPE++的主要创新在于其奖励信号的生成方式，完全依赖于正样本对的几何一致性，而不需要负样本对。这一设计使得训练过程更加稳定，且能够在监督极其有限的情况下有效学习。

关键设计：在损失函数设计上，RIPE++采用了基于几何一致性的奖励机制，确保了学习过程中的监督信号丰富。此外，网络结构方面，采用了适应LightGlue的框架，以便在匹配阶段实现更高的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MegaDepth1500数据集上，RIPE++的AUC@5从56.58提升至59.65，展示了显著的性能提升。此外，该方法在低纹理医学视频序列中表现良好，验证了其在实际应用中的有效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括视觉SLAM、增强现实和医学图像配准等。通过在缺乏准确相机姿态的情况下进行有效的关键点学习，RIPE++能够在实际应用中提供更强的鲁棒性和灵活性，推动相关技术的发展。

📄 摘要（原文）

Sparse keypoint extraction and matching underpin core tasks in geometric computer vision, including structure-from-motion, visual SLAM, augmented reality, and medical image registration. Learning robust local feature representations, however, typically requires accurate camera poses or depth supervision, which are often unavailable in real-world settings. Reinforcement learning (RL) has recently emerged as a promising alternative, requiring only the information if two images show the same scene or not. However, existing RL formulations such as RIPE rely on coarse binary rewards and carefully constructed negative training pairs, limiting training stability and descriptor discriminability. In this paper, we revisit RL-based keypoint learning and propose a reward that fully exploits the geometric consistency signal, deriving both reward and penalty from a single positive pair without contrasting against negatives. This richer signal provides sufficient supervisory contrast to learn discriminative detectors and descriptors from positive image pairs alone, enabling representation learning under extremely limited supervision. Furthermore, we show that the same RL objective can be extended to the matching stage by adapting LightGlue, raising AUC@5 on MegaDepth1500 from 56.58 to 59.65 and enabling weakly-supervised training of the full sparse matching pipeline from image pairs with partial visual overlap. We validate our approach on established benchmarks, demonstrating competitive results compared to fully-supervised methods. We further show that the method can be even trained on low texture medical video sequences, where camera poses are usually unavailable and standard SfM pipelines often fail. Code and data are available at https://github.com/fraunhoferhhi/RIPEpp .