A Composition-Aware Pretraining Framework for Geospatial Foundation Models
作者: Aryan Kashyap Naveen, Abhishek Srinivas, Pranav Moothedath, Shrutilipi Bhattacharjee
分类: cs.CV, cs.AI
发布日期: 2026-08-31
🔗 代码/项目: GITHUB
💡 一句话要点
提出一种组合感知预训练框架以解决地理空间模型的单一概念问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理空间模型 组合感知 预训练框架 土地覆盖 卫星图像 深度学习 环境监测
📋 核心要点
- 现有的预训练方法未能有效捕捉复杂卫星图像的组合特性，导致性能不足。
- 本文提出的框架通过编码土地覆盖的分数混合，利用组合目标进行预训练，提升模型理解能力。
- 在多个实验中，该方法在检索和场景分类任务上显著超越了现有基线，提升幅度达到55.6%。
📝 摘要（中文）
地理空间基础模型已成为下游地球观测任务的最先进方法。然而，现有的预训练方法通过单一概念处理图像，未能捕捉复杂卫星场景的高度组合特性。本文提出了一种组合感知预训练框架，明确编码土地覆盖混合的分数。每个卫星图像单元被映射到一个表示其土地覆盖分布的直方图，称为“组合目标”。这些目标作为主要预测目标，并通过地球移动者距离进行提炼。实验结果表明，组合感知预训练在需要语义相似性判断的区域级理解任务上显著提升，同时在需要细粒度空间精度的任务上保持竞争力。
🔬 方法详解
问题定义：现有的地理空间模型预训练方法通常通过单一概念处理图像，无法有效捕捉复杂卫星场景的组合特性，导致模型在理解和判断上存在局限性。
核心思路：本文提出的组合感知预训练框架通过明确编码土地覆盖的分数混合，利用直方图作为组合目标，增强模型对复杂场景的理解能力。
技术框架：该框架的整体架构包括数据预处理、组合目标生成、模型训练和评估等主要模块。首先，将卫星图像分割为单元，并生成相应的组合目标直方图；然后，通过地球移动者距离进行模型训练。
关键创新：最重要的创新在于引入组合目标的概念，使得模型能够在预训练阶段就学习到土地覆盖的复杂组合特性，与传统方法相比，显著提升了模型的表现。
关键设计：在模型设计中，使用了36.8M参数的主干网络，并通过地球移动者距离作为损失函数，确保模型在训练过程中能够有效学习组合目标的特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，组合感知预训练在ForestNet-12数据集上将基线mAP@10从0.279提升至0.434，提升幅度达到55.6%。此外，该方法在检索和场景分类任务中超越了参数量更大的基线模型，如SatMAE和Prithvi-EO-2.0。
🎯 应用场景
该研究的潜在应用领域包括环境监测、城市规划、农业管理等。通过提升卫星图像的理解能力，能够更好地支持决策制定和资源管理，具有重要的实际价值和社会影响。
📄 摘要（原文）
Geospatial foundation models have emerged as state-of-the-art methods for downstream Earth observation tasks. However, existing pretraining methodologies process imagery through a single-concept lens, failing to capture the highly compositional nature of complex satellite scenes. We propose a composition-aware pretraining framework that explicitly encodes fractional land-cover mixtures. Each satellite image cell is mapped to a histogram representing its fractional land-cover distribution, which we term the "composition target". These targets serve as the primary prediction objective and are distilled into the backbone using Earth Mover's Distance. Experimental evaluation shows that composition-aware pretraining yields substantial gains on region-level understanding tasks requiring semantic similarity judgment, including zero-shot image retrieval and scene classification, while remaining competitive on tasks requiring fine-grained spatial precision, such as segmentation and object detection. With a 36.8M-parameter backbone, our framework outperforms SatMAE and Prithvi-EO-2.0, which contain 303M and 600M parameters, respectively, in most retrieval and scene classification settings. On the fine-grained ForestNet-12 dataset, a rigorous testbed for compositional discrimination, our method boosts baseline mAP@10 from 0.279 to 0.434, a 55.6% relative improvement, providing direct evidence for the effectiveness of explicit composition modeling. The code implementation can be found at https://github.com/05kashyap/GFM_Composition_Pretraining