Geometric Consistency Protocol for Foundation Model Features in Multi-View Satellite Imagery
作者: Qiyan Luo, Jie Yang, Yingdong Pi, Lekang Wen, Mi Wang
分类: cs.CV, cs.AI
发布日期: 2026-06-16
备注: The manuscript is accepted as Oral Presentation in IEEE International Geoscience and Remote Sensing Symposium(IGARSS 2026)
💡 一句话要点
提出几何一致性协议以解决多视角卫星影像特征评估问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何一致性 遥感影像 多视角重建 有理多项式系数 特征评估 深度学习 匹配代理
📋 核心要点
- 现有方法在卫星多视角重建中依赖于二维全局匹配，导致评估结果不准确，无法反映真实的几何关系。
- 提出了一种几何一致性协议，结合RPC框架，利用三维一致性度量和几何约束的匹配代理，确保相似性响应的局部化和唯一性。
- 实验结果表明，纳入几何约束后，传统的二维骨干网络在RPC一致性评估中表现出色，甚至与专门的三维模型相当。
📝 摘要（中文）
标准化评估协议在遥感领域的稳健基准测试中至关重要，尤其是在基础特征跨多种传感器和复杂成像几何的转移中。在卫星多视角重建中，传统的依赖于无约束二维全局匹配的评估往往具有误导性。本文提出了一种针对有理多项式系数（RPC）框架的几何忠实且可重复的协议，结合了RPC投影的三维一致性度量与几何约束的密集匹配代理，评估相似性响应在物理可行的搜索流形下是否保持局部化和唯一性。我们的研究发现，语义一致性与几何定位的解耦是关键：在投影三维点处的高交叉视图相似性并不保证在实际推理中的可靠匹配。我们的基准测试表明，纳入几何约束对卫星影像问题定义至关重要。
🔬 方法详解
问题定义：本文旨在解决卫星多视角影像特征评估中的几何不一致性问题。现有方法依赖于二维全局匹配，导致评估结果与实际几何关系不符，影响了匹配的可靠性。
核心思路：提出一种几何一致性协议，专为RPC框架设计，结合三维一致性度量与几何约束的密集匹配代理，以确保在物理可行的搜索流形下评估相似性响应的局部化和唯一性。
技术框架：整体流程包括数据预处理、RPC投影、几何一致性度量计算和匹配代理评估。每个模块相互配合，确保评估过程的几何忠实性。
关键创新：本研究的核心创新在于解耦语义一致性与几何定位，提出的协议能够在高交叉视图相似性下，确保匹配的可靠性，这是与现有方法的本质区别。
关键设计：在设计中，采用了RPC投影的三维一致性度量，并设置了几何约束的匹配代理，确保相似性响应的局部化和唯一性，具体的损失函数和参数设置在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，纳入几何约束后，传统二维骨干网络在RPC一致性评估中表现出色，性能与专门的三维模型相当，展示了在多视角卫星影像处理中的重要性和有效性。
🎯 应用场景
该研究的潜在应用领域包括遥感影像分析、环境监测和城市规划等。通过提供更准确的特征评估方法，能够提升卫星影像在实际应用中的可靠性和有效性，推动相关领域的发展。
📄 摘要（原文）
Standardized evaluation protocols are indispensable for robust benchmarking in remote sensing, particularly as foundation features are increasingly transferred across diverse sensors and complex imaging geometries. In satellite multi-view reconstruction, conventional evaluations relying on unconstrained 2D global matching are often misleading. The Rational Function Model (RFM) and its Rational Polynomial Coefficients (RPC) dictate a curved, height-dependent epipolar geometry that render flat 2D search spaces physically inconsistent. We propose a geometry-faithful and reproducible protocol tailored for the RPC framework. Our approach integrates an RPC-projected 3D consistency metric with a geometry-constrained dense matching proxy, specifically evaluating whether similarity responses remain localized and unique under physically plausible search manifolds. A pivotal finding of our joint reporting strategy is the decoupling of semantic agreement and geometric localization: high cross-view similarity at a projected 3D point does not guarantee reliable matchability in practical inference. Our benchmark demonstrates that incorporating geometric constraints is fundamental to the problem definition in satellite imagery. Furthermore, we show that state-of-the-art 2D backbones remain remarkably competitive against specialized 3D-aware models when subjected to this RPC-consistent evaluation.