Pretraining Billion-scale Geospatial Foundational Models on Frontier
作者: Aristeidis Tsaris, Philipe Ambrozio Dias, Abhishek Potnis, Junqi Yin, Feiyi Wang, Dalton Lunga
分类: cs.AI
发布日期: 2024-04-17
💡 一句话要点
提出亿级地理空间基础模型以解决数据处理挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 地理空间数据 自监督学习 高性能计算 Vision Transformer 模型并行 数据并行 场景分类
📋 核心要点
- 现有的任务特定模型在处理大规模地理空间数据时面临通用能力不足和对大量标注样本需求高的问题。
- 论文提出通过在公开数据上预训练亿级基础模型，利用自监督学习提升模型的适应性和性能。
- 实验结果显示，3B参数模型在场景分类准确率上相比100M参数模型提升了30%，并在Frontier超算上验证了不同并行配置的性能。
📝 摘要（中文）
随着人工智能工作负载的增加，通用能力对小型任务特定模型的挑战日益明显，而基础模型（FMs）通过自监督学习在互联网规模的无标签数据上进行训练，能够以最小的微调适应多种任务。尽管大型基础模型在自然语言处理和计算机视觉领域取得了显著影响，但针对地理空间应用的基础模型仍然局限于较小的模型。本文研究了亿级基础模型及其高性能计算训练配置，通过在公开数据上进行预训练，探讨了模型规模对性能的影响。我们的3B参数模型在场景分类准确率上相比100M参数模型提升了30%。此外，我们在美国首个超算系统Frontier上进行了性能实验，分析了不同模型和数据并行方法的效果。
🔬 方法详解
问题定义：本文旨在解决现有小型任务特定模型在处理大规模地理空间数据时的通用能力不足和对标注样本的高需求问题。现有方法在模型规模和计算资源上存在限制，难以充分利用海量地理空间数据。
核心思路：论文的核心思路是通过在公开数据集上预训练亿级基础模型，利用自监督学习的优势，使模型能够在多种地理空间任务中实现良好的适应性和性能。通过扩大模型规模，探索其对性能的影响。
技术框架：整体架构包括数据收集、模型预训练、性能评估等阶段。首先，收集大规模的地理空间数据，然后在高性能计算平台上进行模型的预训练，最后通过实验评估不同模型规模和并行配置的性能。
关键创新：最重要的技术创新在于成功训练了亿级参数的基础模型，并在Frontier超算上进行性能优化，探索了不同的模型和数据并行方法，显著提升了模型的分类准确率。
关键设计：在模型设计中，采用了Vision Transformer架构，进行了参数设置和损失函数的优化，使用PyTorch的Fully Sharded Data Parallel库来实现高效的模型训练和数据并行处理。实验中还分析了不同并行配置下的吞吐量和性能瓶颈。
🖼️ 关键图片
📊 实验亮点
实验结果显示，3B参数模型在场景分类准确率上相比100M参数模型提升了30%。此外，在Frontier超算上进行的性能分析揭示了不同模型和数据并行配置的效果，为未来的地理空间应用提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括遥感图像分析、城市规划、环境监测等。通过提升地理空间数据处理的效率和准确性，能够为相关行业提供更为精准的决策支持，推动智能城市和可持续发展等领域的进步。
📄 摘要（原文）
As AI workloads increase in scope, generalization capability becomes challenging for small task-specific models and their demand for large amounts of labeled training samples increases. On the contrary, Foundation Models (FMs) are trained with internet-scale unlabeled data via self-supervised learning and have been shown to adapt to various tasks with minimal fine-tuning. Although large FMs have demonstrated significant impact in natural language processing and computer vision, efforts toward FMs for geospatial applications have been restricted to smaller size models, as pretraining larger models requires very large computing resources equipped with state-of-the-art hardware accelerators. Current satellite constellations collect 100+TBs of data a day, resulting in images that are billions of pixels and multimodal in nature. Such geospatial data poses unique challenges opening up new opportunities to develop FMs. We investigate billion scale FMs and HPC training profiles for geospatial applications by pretraining on publicly available data. We studied from end-to-end the performance and impact in the solution by scaling the model size. Our larger 3B parameter size model achieves up to 30% improvement in top1 scene classification accuracy when comparing a 100M parameter model. Moreover, we detail performance experiments on the Frontier supercomputer, America's first exascale system, where we study different model and data parallel approaches using PyTorch's Fully Sharded Data Parallel library. Specifically, we study variants of the Vision Transformer architecture (ViT), conducting performance analysis for ViT models with size up to 15B parameters. By discussing throughput and performance bottlenecks under different parallelism configurations, we offer insights on how to leverage such leadership-class HPC resources when developing large models for geospatial imagery applications.