A Sentinel-3 foundation model for ocean colour

📄 arXiv: 2509.21273v1 📥 PDF

作者: Geoffrey Dawson, Remy Vandaele, Andrew Taylor, David Moffat, Helen Tamura-Wicks, Sarah Jackson, Rosie Lickorish, Paolo Fraccaro, Hywel Williams, Chunbo Luo, Anne Jones

分类: cs.CV

发布日期: 2025-09-25

备注: 15 pages, 8 figures

💡 一句话要点

提出基于Sentinel-3的海洋颜色基础模型，提升海洋观测任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 海洋颜色 基础模型 自监督学习 Sentinel-3 地球观测

📋 核心要点

  1. 海洋科学中标记数据稀缺且昂贵，限制了AI的应用。现有方法难以充分利用未标记数据。
  2. 论文提出使用Prithvi-EO Vision Transformer架构，预训练Sentinel-3 OLCI数据重建的基础模型，以提升性能。
  3. 实验表明，该模型在叶绿素浓度量化和海洋初级生产力估计方面优于现有基线模型，尤其擅长处理少量高质量标记数据。

📝 摘要（中文）

本文介绍了一种新的基础模型，该模型使用Prithvi-EO Vision Transformer架构，并经过预训练以重建来自Sentinel-3海洋和陆地颜色仪（OLCI）的数据。该模型旨在解决海洋科学中标记数据稀缺且昂贵的问题。通过在两个下游海洋地球观测任务上进行微调来评估该模型。首先，评估模型在量化叶绿素浓度方面与当前基线模型相比的性能。然后，评估基础模型改进基于遥感的海洋初级生产力估计的能力。结果表明，自训练基础模型在海洋监测中的实用性，特别是在利用少量高质量标记数据和捕获海洋颜色的详细空间模式同时匹配点观测方面。结论是，这种新一代地理空间AI模型有潜力为海洋生态系统及其在全球气候过程中的作用提供更稳健、数据驱动的见解。

🔬 方法详解

问题定义：论文旨在解决海洋地球观测领域中标记数据稀缺的问题。现有的海洋观测模型往往依赖于大量的标记数据进行训练，但在实际应用中，高质量的标记数据获取成本高昂且耗时。这限制了现有模型在海洋监测和研究中的应用范围和精度。

核心思路：论文的核心思路是利用自监督学习的方法，通过预训练一个基于Sentinel-3 OLCI数据的视觉Transformer基础模型，使其能够学习到海洋颜色的内在表示。然后，通过在少量标记数据上进行微调，将预训练模型迁移到下游任务中，从而提高模型的性能和泛化能力。

技术框架：该方法的技术框架主要包括两个阶段：预训练阶段和微调阶段。在预训练阶段，使用大量的未标记Sentinel-3 OLCI数据训练Prithvi-EO Vision Transformer模型，目标是重建原始数据。在微调阶段，使用少量标记数据，针对特定的下游任务（如叶绿素浓度量化和海洋初级生产力估计）对预训练模型进行微调。

关键创新：该论文的关键创新在于将自监督学习和基础模型应用于海洋地球观测领域。通过预训练一个通用的海洋颜色表示模型，可以有效地利用大量的未标记数据，从而降低对标记数据的依赖。此外，该模型采用Prithvi-EO Vision Transformer架构，能够有效地捕捉海洋颜色的空间模式。

关键设计：在预训练阶段，使用均方误差（MSE）作为损失函数，目标是最小化重建数据与原始数据之间的差异。在微调阶段，根据具体的下游任务选择合适的损失函数。模型的输入是Sentinel-3 OLCI数据，输出是重建的OLCI数据或下游任务的预测结果。Transformer的层数、头数等超参数需要根据实际情况进行调整。

📊 实验亮点

实验结果表明，该基础模型在叶绿素浓度量化和海洋初级生产力估计方面均优于现有基线模型。尤其是在使用少量高质量标记数据的情况下，该模型的性能提升更为显著。此外，该模型能够捕捉到海洋颜色的详细空间模式，与点观测数据具有良好的一致性。具体性能数据未知，但论文强调了其在小样本学习上的优势。

🎯 应用场景

该研究成果可广泛应用于海洋环境监测、气候变化研究、渔业资源管理等领域。通过更准确地估计叶绿素浓度和海洋初级生产力，可以更好地了解海洋生态系统的健康状况和碳循环过程，为制定可持续的海洋管理政策提供科学依据。未来，该模型还可以扩展到其他海洋观测卫星数据，进一步提升海洋监测能力。

📄 摘要（原文）

Artificial Intelligence (AI) Foundation models (FMs), pre-trained on massive unlabelled datasets, have the potential to drastically change AI applications in ocean science, where labelled data are often sparse and expensive to collect. In this work, we describe a new foundation model using the Prithvi-EO Vision Transformer architecture which has been pre-trained to reconstruct data from the Sentinel-3 Ocean and Land Colour Instrument (OLCI). We evaluate the model by fine-tuning on two downstream marine earth observation tasks. We first assess model performance compared to current baseline models used to quantify chlorophyll concentration. We then evaluate the FMs ability to refine remote sensing-based estimates of ocean primary production. Our results demonstrate the utility of self-trained FMs for marine monitoring, in particular for making use of small amounts of high quality labelled data and in capturing detailed spatial patterns of ocean colour whilst matching point observations. We conclude that this new generation of geospatial AI models has the potential to provide more robust, data-driven insights into ocean ecosystems and their role in global climate processes.