How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?
作者: Julia Romero, Qin Lv, Morteza Karimzadeh
分类: cs.CV, cs.AI
发布日期: 2026-06-11
💡 一句话要点
研究自监督遥感视觉模型在下游任务中的迁移能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 遥感数据 迁移学习 模型评估 深度学习
📋 核心要点
- 现有的自监督地理基础模型在下游任务中的迁移能力难以准确表征，导致模型选择和应用的挑战。
- 本文通过研究六种不同类型的GeoFMs，探讨其在分类、回归和分割任务中的表现及适应性。
- 实验结果表明，模型在不同任务中的排名会变化，且下游适应设置对性能的影响与模型选择同样重要。
📝 摘要（中文）
自监督地理基础模型（GeoFMs）从遥感数据中学习可迁移的表示，但其在下游任务中的表现难以表征。本文研究了六种代表性的GeoFMs，涵盖联合嵌入、重建和多模态预训练等家族，并在不同标签可用性和下游管道下评估其在分类、回归和分割基准上的迁移能力。研究发现模型排名在不同任务和适应设置中变化，层级探测显示在大多数情况下，任务相关信息在中间变换器块中比在最终层嵌入中更易获取。此外，分割案例研究表明，解码器设计和微调等下游适应设置与GeoFM的选择同样重要。最后，CKA分析显示微调并未在深度上均匀重写GeoFMs，最显著的变化集中在ViT块的第一个线性层。这些结果帮助解释了为何GeoFM的排名在基准间发生变化，并推动了更具表示意识的评估和适应策略。
🔬 方法详解
问题定义：本文旨在解决自监督地理基础模型在下游任务中迁移能力表征不足的问题，现有方法在不同任务中的表现不一，导致应用选择困难。
核心思路：通过对六种GeoFMs的系统研究，分析其在不同任务中的表现及适应性，探索模型内部信息的组织方式及其对下游任务的影响。
技术框架：研究包括模型的选择、任务的分类、回归和分割，以及不同的下游适应设置，如解码器设计和微调策略，形成一个综合的评估框架。
关键创新：本文的创新在于通过层级探测和CKA分析揭示了GeoFMs在不同深度的表现差异，强调了中间层信息的可用性和微调的非均匀性。
关键设计：研究中采用了多种下游适应设置，特别关注解码器设计和微调策略，发现这些设置对模型性能的影响与GeoFM的选择同样重要。
🖼️ 关键图片
📊 实验亮点
实验结果显示，不同GeoFMs在分类、回归和分割任务中的表现存在显著差异，且模型排名在不同适应设置下变化。特别是在分割任务中，解码器设计和微调策略对性能的影响与模型选择同样重要，强调了模型内部信息组织的复杂性。
🎯 应用场景
该研究的潜在应用领域包括遥感图像分析、环境监测和灾害响应等。通过提高自监督模型在下游任务中的迁移能力，可以更有效地利用遥感数据，推动智能城市、农业监测等领域的发展，具有重要的实际价值和长远影响。
📄 摘要（原文）
Self-supervised geospatial foundation models (GeoFMs) learn transferable representations from remote sensing data, but their downstream behavior is difficult to characterize. We study six representative GeoFMs spanning joint-embedding, reconstruction, and multimodal pretraining families, and evaluate transfer across classification, regression, and segmentation benchmarks under different label availability and downstream pipelines. We find that model rankings change across tasks and adaptation settings. Layerwise probing shows that, in most cases, task-relevant information is more accessible in intermediate transformer blocks compared to final-layer embeddings, and that GeoFMs exhibit distinct depthwise profiles. In segmentation case studies on PASTIS and Sen1Floods11, downstream adaptation settings such as decoder design and fine-tuning can be as impactful as the choice of GeoFM, and standard dense-prediction heads may be poorly aligned with how GeoFMs organize information over depth. Finally, CKA analysis on case studies shows that fine-tuning does not rewrite GeoFMs uniformly across depth, and the strongest changes are localized to the first linear layer of the MLP in ViT blocks. These results help explain why GeoFM rankings shift across benchmarks and motivate more representation-aware evaluation and adaptation strategies.