PhilEO Bench: Evaluating Geo-Spatial Foundation Models

📄 arXiv: 2401.04464v2 📥 PDF

作者: Casper Fibaek, Luke Camilleri, Andreas Luyts, Nikolaos Dionelis, Bertrand Le Saux

分类: cs.CV, cs.LG

发布日期: 2024-01-09 (更新: 2024-01-15)

备注: 6 pages, 5 figures, Submitted to IGARSS 2024

💡 一句话要点

提出PhilEO Bench以公平评估地理空间基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地球观测 遥感 基础模型 自监督学习 数据集 模型评估 机器学习

📋 核心要点

  1. 遥感领域面临的主要挑战是缺乏标注数据，限制了机器学习模型的有效应用。
  2. 本文提出了PhilEO Bench框架，旨在为EO基础模型提供公平、统一的评估标准。
  3. 实验结果表明，使用该框架评估的基础模型在多个任务上表现优异，提升了模型的有效性。

📝 摘要（中文）

地球观测（EO）卫星捕获了大量未标注数据，Sentinel-2星座每天生成1.6 TB数据。尽管遥感领域数据丰富，但由于缺乏标注数据，机器学习模型的应用受到限制。为此，本文提出了PhilEO Bench，一个用于EO基础模型评估的创新框架。该框架包含一个测试平台和一个新的400 GB Sentinel-2数据集，涵盖建筑密度估计、道路分割和土地覆盖分类三个下游任务的标签。我们使用该框架对不同基础模型（如Prithvi和SatMAE）进行了多次实验，评估其在不同样本量和收敛速率下的表现。

🔬 方法详解

问题定义：本文旨在解决遥感领域中缺乏标注数据的问题。现有方法在应用机器学习模型时面临标注成本高、效率低的问题。

核心思路：提出PhilEO Bench框架，通过构建一个包含标注的Sentinel-2数据集，提供公平的评估平台，以促进基础模型的研究和应用。

技术框架：框架包括一个测试平台和一个400 GB的Sentinel-2数据集，数据集涵盖建筑密度估计、道路分割和土地覆盖分类三个任务。评估过程涉及对不同基础模型的实验，比较其在多个样本量和收敛速率下的表现。

关键创新：PhilEO Bench的创新在于其提供了一个统一的评估标准和数据集，填补了遥感领域基础模型评估的空白，促进了自监督学习和基础模型的研究。

关键设计：数据集设计包含了针对三个下游任务的详细标注，实验中采用了多种基础模型（如Prithvi和SatMAE），并在不同的样本量和收敛速率下进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用PhilEO Bench评估的基础模型在建筑密度估计、道路分割和土地覆盖分类任务上均取得了显著提升，尤其在样本量较小的情况下，模型的表现优于传统方法，验证了框架的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、环境监测和灾害管理等。通过提供一个标准化的评估框架，PhilEO Bench能够帮助研究人员和工程师更好地开发和优化遥感模型，从而提高地理空间数据的利用效率，推动相关领域的技术进步。

📄 摘要（原文）

Massive amounts of unlabelled data are captured by Earth Observation (EO) satellites, with the Sentinel-2 constellation generating 1.6 TB of data daily. This makes Remote Sensing a data-rich domain well suited to Machine Learning (ML) solutions. However, a bottleneck in applying ML models to EO is the lack of annotated data as annotation is a labour-intensive and costly process. As a result, research in this domain has focused on Self-Supervised Learning and Foundation Model approaches. This paper addresses the need to evaluate different Foundation Models on a fair and uniform benchmark by introducing the PhilEO Bench, a novel evaluation framework for EO Foundation Models. The framework comprises of a testbed and a novel 400 GB Sentinel-2 dataset containing labels for three downstream tasks, building density estimation, road segmentation, and land cover classification. We present experiments using our framework evaluating different Foundation Models, including Prithvi and SatMAE, at multiple n-shots and convergence rates.