Multi-Spectral Remote Sensing Image Retrieval Using Geospatial Foundation Models

📄 arXiv: 2403.02059v2 📥 PDF

作者: Benedikt Blumenstiel, Viktoria Moor, Romeo Kienzler, Thomas Brunschwiler

分类: cs.CV

发布日期: 2024-03-04 (更新: 2024-05-22)

备注: Proceedings of the IEEE International Geoscience and Remote Sensing Symposium (IGARSS)

🔗 代码/项目: GITHUB

💡 一句话要点

提出地理空间基础模型以解决多光谱遥感图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像检索 多光谱数据 深度学习 地理空间模型 图像特征提取 数据压缩 性能优化

📋 核心要点

  1. 现有的遥感图像检索方法在处理多光谱数据时面临性能不足和泛化能力差的挑战。
  2. 本文提出利用地理空间基础模型Prithvi，能够有效编码多光谱卫星数据并实现无需微调的泛化能力。
  3. 实验结果显示，Prithvi在多个数据集上表现优异，平均精度显著高于传统RGB模型，同时压缩方法提升了检索效率。

📝 摘要（中文）

图像检索能够高效地在大量卫星图像中进行搜索，并返回与查询相似的图像。深度学习模型可以在无需注释的情况下识别不同语义概念的图像。本文提出使用地理空间基础模型（如Prithvi）进行多光谱遥感图像检索，具有多重优势：模型能够编码多光谱卫星数据，并且无需进一步微调即可实现泛化。我们引入了两个数据集进行检索任务，并观察到强大的性能：Prithvi处理六个波段，在BigEarthNet-43上实现了97.62%的平均精度，在ForestNet-12上达到了44.51%，超越了其他基于RGB的模型。此外，我们评估了三种压缩方法，使用二值化嵌入在检索速度和准确性之间取得平衡，匹配了更短哈希码的检索速度，同时保持与浮点嵌入相同的准确性，但压缩比达到32倍。

🔬 方法详解

问题定义：本文旨在解决多光谱遥感图像检索中的性能不足和泛化能力差的问题。现有方法多依赖于RGB图像，难以充分利用多光谱数据的丰富信息。

核心思路：论文的核心思路是采用地理空间基础模型Prithvi，该模型能够有效处理多光谱数据，并且在无需额外微调的情况下实现良好的泛化能力。这样的设计使得模型在不同数据集上都能保持高效的检索性能。

技术框架：整体架构包括数据预处理、特征提取和检索三个主要模块。首先，对多光谱卫星图像进行预处理，然后通过Prithvi模型提取特征，最后进行相似图像检索。

关键创新：最重要的技术创新在于使用地理空间基础模型Prithvi进行多光谱数据的处理，这与传统的RGB模型相比，能够更好地捕捉图像的多维信息，从而提升检索效果。

关键设计：在模型设计中，采用了六个波段的输入，并通过三种不同的压缩方法对二值化嵌入进行评估，以平衡检索速度和准确性。

📊 实验亮点

实验结果表明，Prithvi模型在BigEarthNet-43数据集上实现了97.62%的平均精度，在ForestNet-12上达到了44.51%。这些结果显著超越了传统RGB模型的性能。此外，采用的压缩方法使得检索速度与更短哈希码相当，同时保持了与浮点嵌入相同的准确性，压缩比达到32倍。

🎯 应用场景

该研究的潜在应用领域包括环境监测、城市规划、农业管理等。通过高效的遥感图像检索，用户能够快速获取所需的卫星图像，从而支持决策制定和资源管理。未来，该技术有望在更广泛的地理信息系统（GIS）应用中发挥重要作用。

📄 摘要（原文）

Image retrieval enables an efficient search through vast amounts of satellite imagery and returns similar images to a query. Deep learning models can identify images across various semantic concepts without the need for annotations. This work proposes to use Geospatial Foundation Models, like Prithvi, for remote sensing image retrieval with multiple benefits: i) the models encode multi-spectral satellite data and ii) generalize without further fine-tuning. We introduce two datasets to the retrieval task and observe a strong performance: Prithvi processes six bands and achieves a mean Average Precision of 97.62% on BigEarthNet-43 and 44.51% on ForestNet-12, outperforming other RGB-based models. Further, we evaluate three compression methods with binarized embeddings balancing retrieval speed and accuracy. They match the retrieval speed of much shorter hash codes while maintaining the same accuracy as floating-point embeddings but with a 32-fold compression. The code is available at https://github.com/IBM/remote-sensing-image-retrieval.