Beyond Accuracy: Assessing Calibration of Geospatial Foundation Models and Their Sensitivity to Distribution Shifts
作者: Nils Lehmann, Jakob Gawlikowski, Burak Ekim, Isaac Corley, Xiao Xiang Zhu
分类: cs.CV
发布日期: 2026-08-17
💡 一句话要点
提出评估地理基础模型校准与分布变化敏感性的方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理基础模型 模型校准 分布变化 遥感数据 不确定性量化
📋 核心要点
- 现有的模型评估方法主要依赖于准确性，忽视了模型在实际应用中的校准问题。
- 论文提出通过多角度分析，包括模型校准和对分布变化的敏感性，来全面评估GeoFMs的性能。
- 实验结果显示，EO预训练与ImageNet预训练在干净数据上表现相似，但在分布变化下，GeoFMs的过度自信显著增加。
📝 摘要（中文）
地理基础模型（GeoFMs）通常通过在标准基准条件下的准确性进行排名和选择。本文指出这一方法过于狭隘，实际部署在关键的地球观测任务中需要更全面的分析，尤其是模型的校准，即模型信心与正确性之间的一致性。通过对16个冻结编码器、四个分类和五个分割数据集的分析，发现随着干扰加剧，模型性能下降且排名变化。研究还表明，EO预训练与ImageNet预训练在干净数据上的表现无显著差异，而在分布变化下，GeoFMs表现出更强的过度自信。最后，提出应在多种条件和指标下进行基准评估，以更全面地评估模型的进展。
🔬 方法详解
问题定义：本文旨在解决地理基础模型在实际应用中校准不足和对分布变化敏感性的问题。现有方法主要关注准确性，未能全面评估模型在不同条件下的表现。
核心思路：论文提出通过分析模型的校准和对分布变化的敏感性，来更全面地评估GeoFMs的性能。这种方法强调了模型信心与正确性之间的一致性。
技术框架：研究通过对16个冻结编码器进行评估，使用四个分类和五个分割数据集，分析模型在不同干扰下的表现。主要模块包括模型训练、性能评估和校准分析。
关键创新：最重要的创新在于引入了校准评估作为模型性能的重要指标，并通过CKA分析揭示了EO预训练模型的表示刚性与过度自信之间的关系。
关键设计：实验中使用了温度缩放和深度集成等不确定性量化方法，发现这些方法无法有效抵消模型在干扰下的性能下降，同时采用高斯过程探测器在严重干扰下显著降低了ECE。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EO预训练和ImageNet预训练在干净数据上的准确性和校准表现无显著差异，但在分布变化下，GeoFMs的过度自信显著增加。使用高斯过程探测器在严重干扰下将ECE降低了约50%，但在干净数据上却增加了三倍。
🎯 应用场景
该研究的潜在应用领域包括地理信息系统、遥感数据分析和环境监测等。通过提高模型在实际应用中的可靠性和稳定性，可以更好地支持决策制定和资源管理，具有重要的实际价值和未来影响。
📄 摘要（原文）
Geospatial Foundation Models (GeoFMs) are most commonly ranked and selected by accuracy on standard benchmark conditions via averaged ranks. We show that this protocol is too narrow: the promised deployment in critical EO tasks requires further angles of analysis, mainly calibration, the agreement between a model's confidence and its correctness. Across 16 frozen encoders, four classification and five segmentation datasets, and two orthogonal stress axes, every encoder degrades as corruption intensifies, and the ranking changes as well. Across the four classification benchmarks, EO-pretrained and ImageNet-pretrained encoders are indistinguishable on clean accuracy and clean calibration, and EO pretraining provides no more stability under shift than ImageNet pretraining. Under shift the GeoFMs drift further into overconfidence than the ImageNet-pretrained encoders, at every grade and in every corruption family. A centered kernel alignment (CKA) analysis ties this to representational rigidity: EO-pretrained embeddings move less under corruption while losing just as much task information and remaining overconfident. We apply three commonly explored uncertainty quantification methods and find that temperature scaling and deep ensembles cannot counteract the degradation, while a Gaussian-process probe roughly halves ECE under severe cloud only by tripling it on clean data. In selective prediction experiments, we find that confidence-based abstention cannot defer around confidently wrong predictions, and advocate that benchmark rankings and evaluations should therefore operate across a multitude of conditions and metrics to more holistically evaluate model development progress and close the gap to real world deployment scenarios.