MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining

📄 arXiv: 2403.13430v2 📥 PDF

作者: Di Wang, Jing Zhang, Minqiang Xu, Lin Liu, Dongsheng Wang, Erzhong Gao, Chengxi Han, Haonan Guo, Bo Du, Dacheng Tao, Liangpei Zhang

分类: cs.CV

发布日期: 2024-03-20 (更新: 2024-05-30)

备注: Accepted by IEEE JSTARS Special issue on "Large-Scale Pretraining for Interpretation Promotion in Remote Sensing Domain". The codes and pretrained models are available at https://github.com/ViTAE-Transformer/MTP

💡 一句话要点

提出多任务预训练方法以提升遥感基础模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感 基础模型 多任务学习 预训练 卷积神经网络 视觉变换器 图像分割 迁移学习

📋 核心要点

  1. 现有的预训练模型在迁移到下游任务时，常因任务差异导致性能下降，特别是在遥感图像处理领域。
  2. 本文提出了一种多任务预训练（MTP）方法，通过共享编码器和任务特定解码器架构，进行多任务监督预训练，旨在提高模型的迁移能力。
  3. 在14个数据集上的广泛实验表明，MTP模型在性能上优于现有同类模型，并且与更大规模的模型相比表现出竞争力。

📝 摘要（中文）

基础模型通过增强各种图像解释任务，重塑了遥感领域的格局。预训练作为一个活跃的研究主题，涵盖了监督和自监督学习方法以有效初始化模型权重。然而，将预训练模型迁移到下游任务时，可能会因预训练任务的不同而遇到任务差异。本文探索了多任务预训练（MTP）范式，以解决这一问题。通过共享编码器和任务特定解码器架构，我们在SAMRS数据集上进行了多任务监督预训练，涵盖语义分割、实例分割和旋转物体检测。MTP支持超过3亿参数的卷积神经网络和视觉变换器基础模型。预训练模型在各种遥感下游任务上进行了微调，实验结果表明我们的模型在14个数据集上优于现有同类模型，并与更大规模的最先进模型表现出竞争力，验证了MTP的有效性。

🔬 方法详解

问题定义：本文旨在解决遥感基础模型在迁移到下游任务时因任务差异导致的性能下降问题。现有方法多将预训练任务设定为图像分类或物体识别，缺乏对多种任务的综合考虑。

核心思路：提出多任务预训练（MTP）范式，通过共享编码器和任务特定解码器的设计，进行多任务的监督预训练，以增强模型在不同遥感任务中的适应性和性能。

技术框架：整体架构包括一个共享编码器和多个任务特定的解码器，针对语义分割、实例分割和旋转物体检测等任务进行预训练。模型支持卷积神经网络和视觉变换器，参数规模超过3亿。

关键创新：MTP的核心创新在于通过多任务学习的方式，解决了传统单一任务预训练的局限性，使得模型在多个遥感任务中表现出更好的迁移能力和泛化性能。

关键设计：在模型设计中，采用了适应性损失函数以平衡不同任务的学习目标，并通过数据增强技术提升模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MTP模型在14个数据集上的表现优于现有同类模型，且在某些任务上与更大规模的最先进模型相当，验证了MTP方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、环境监测、城市规划等，能够有效提升遥感数据的处理效率和准确性。未来，MTP方法有望在更广泛的遥感应用中推广，推动智能遥感技术的发展。

📄 摘要（原文）

Foundation models have reshaped the landscape of Remote Sensing (RS) by enhancing various image interpretation tasks. Pretraining is an active research topic, encompassing supervised and self-supervised learning methods to initialize model weights effectively. However, transferring the pretrained models to downstream tasks may encounter task discrepancy due to their formulation of pretraining as image classification or object discrimination tasks. In this study, we explore the Multi-Task Pretraining (MTP) paradigm for RS foundation models to address this issue. Using a shared encoder and task-specific decoder architecture, we conduct multi-task supervised pretraining on the SAMRS dataset, encompassing semantic segmentation, instance segmentation, and rotated object detection. MTP supports both convolutional neural networks and vision transformer foundation models with over 300 million parameters. The pretrained models are finetuned on various RS downstream tasks, such as scene classification, horizontal and rotated object detection, semantic segmentation, and change detection. Extensive experiments across 14 datasets demonstrate the superiority of our models over existing ones of similar size and their competitive performance compared to larger state-of-the-art models, thus validating the effectiveness of MTP.