Efficient Subseasonal Weather Forecast using Teleconnection-informed Transformers
作者: Shan Zhao, Zhitong Xiong, Xiao Xiang Zhu
分类: cs.LG, cs.AI
发布日期: 2024-01-31 (更新: 2024-02-05)
备注: Submitted to IGARSS 2024
💡 一句话要点
提出基于遥相关的变换器以提升亚季节天气预报精度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 亚季节天气预报 遥相关 变换器 机器学习 气象预测 深度学习 模型优化
📋 核心要点
- 现有的天气预报方法在处理亚季节预测时面临计算资源消耗大和物理一致性不足的问题。
- 论文提出了一种遥相关信息驱动的变换器架构，利用预训练模型和时间模块来提升预测能力。
- 实验结果表明，通过微调少量参数，模型在多项气象变量的预测上实现了显著提升。
📝 摘要（中文）
亚季节天气预报对农业、水资源管理和灾害预警至关重要，但由于大气的混沌特性，面临诸多挑战。近年来，机器学习的进展使天气预报取得了与数值模型相当的预测能力。然而，训练这些基础模型需要大量的GPU计算，导致显著的碳排放，并限制了其广泛应用。此外，机器学习模型往往通过生成平滑结果来欺骗像素级误差评分，缺乏物理一致性和气象意义。为了解决这些问题，我们提出了一种遥相关信息驱动的变换器架构，利用预训练的Pangu模型作为良好的初始权重，并集成了遥相关信息的时间模块，以提高长期预测能力。通过调整Pangu模型1.1%的参数，我们的方法在两周的预测时间内显著提升了四个地表和五个高层大气变量的可预测性。
🔬 方法详解
问题定义：本论文旨在解决亚季节天气预报中的预测准确性不足和计算资源消耗过大的问题。现有的机器学习模型虽然在预测能力上有所提升，但其训练过程需要大量的GPU时间，导致高碳排放，并且生成的结果缺乏物理意义。
核心思路：论文的核心思路是提出一种遥相关信息驱动的变换器架构，通过利用预训练的Pangu模型作为初始权重，并集成遥相关信息的时间模块，来提高模型在长期预测中的可预测性。这样的设计旨在结合气象学的物理知识与深度学习的强大能力。
技术框架：整体架构包括预训练的Pangu模型作为基础，遥相关信息模块用于提取时间序列特征，最终通过调整少量参数来优化模型。主要模块包括输入层、遥相关特征提取层、变换器层和输出层。
关键创新：最重要的技术创新在于通过遥相关信息的引入，显著提升了模型的空间分辨率和物理一致性。这与传统的机器学习方法形成了鲜明对比，后者往往忽视了气象学的基本原理。
关键设计：在模型设计中，调整了Pangu模型的1.1%参数，并采用了特定的损失函数来优化预测结果。此外，遥相关特征的引入使得模型能够更好地捕捉大气和海洋之间的相互作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，通过调整Pangu模型的1.1%参数，模型在四个地表和五个高层大气变量的预测上实现了显著提升，尤其在两周的预测时间内，表现出更高的可预测性和空间分辨率。这表明遥相关特征的引入有效改善了模型的物理一致性。
🎯 应用场景
该研究的潜在应用领域包括农业气象预报、水资源管理和自然灾害预警等。通过提升亚季节天气预报的准确性，能够为相关行业提供更可靠的决策支持，降低因天气变化带来的经济损失。未来，该方法有望推广至其他气象相关的下游任务，进一步提升气象预测的效率和准确性。
📄 摘要（原文）
Subseasonal forecasting, which is pivotal for agriculture, water resource management, and early warning of disasters, faces challenges due to the chaotic nature of the atmosphere. Recent advances in machine learning (ML) have revolutionized weather forecasting by achieving competitive predictive skills to numerical models. However, training such foundation models requires thousands of GPU days, which causes substantial carbon emissions and limits their broader applicability. Moreover, ML models tend to fool the pixel-wise error scores by producing smoothed results which lack physical consistency and meteorological meaning. To deal with the aforementioned problems, we propose a teleconnection-informed transformer. Our architecture leverages the pretrained Pangu model to achieve good initial weights and integrates a teleconnection-informed temporal module to improve predictability in an extended temporal range. Remarkably, by adjusting 1.1% of the Pangu model's parameters, our method enhances predictability on four surface and five upper-level atmospheric variables at a two-week lead time. Furthermore, the teleconnection-filtered features improve the spatial granularity of outputs significantly, indicating their potential physical consistency. Our research underscores the importance of atmospheric and oceanic teleconnections in driving future weather conditions. Besides, it presents a resource-efficient pathway for researchers to leverage existing foundation models on versatile downstream tasks.