NeighborMAE: Exploiting Spatial Dependencies between Neighboring Earth Observation Images in Masked Autoencoders Pretraining

📄 arXiv: 2603.02522v1 📥 PDF

作者: Liang Zeng, Valerio Marsocci, Wufan Zhao, Andrea Nascetti, Maarten Vergauwen

分类: cs.CV

发布日期: 2026-03-03

💡 一句话要点

NeighborMAE：利用邻域遥感影像空间依赖性的掩码自编码器预训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 遥感影像 自监督学习 掩码自编码器 空间依赖性 邻域信息

📋 核心要点

  1. 现有遥感影像自监督学习忽略了相邻影像间的空间依赖关系，未能充分利用地球表面的连续性。
  2. NeighborMAE通过联合重建相邻遥感影像来学习空间依赖性，从而挖掘更丰富的上下文信息。
  3. 实验表明，NeighborMAE在多个数据集和下游任务上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

掩码图像建模是目前流行的自监督学习范式之一，用于从大规模无标注的遥感影像中学习表征。虽然将多模态和多时相遥感数据融入掩码图像建模已被广泛探索，但从相邻区域捕获的图像之间的空间依赖性在很大程度上被忽视了。由于地球表面是连续的，相邻图像高度相关，并为自监督学习提供了丰富的上下文信息。为了弥补这一差距，我们提出了NeighborMAE，它通过联合重建相邻的遥感影像来学习空间依赖性。为了确保重建仍然具有挑战性，我们利用启发式策略来动态调整掩码比例和像素级损失权重。在各种预训练数据集和下游任务上的实验结果表明，NeighborMAE显著优于现有的基线，突出了相邻图像在遥感掩码图像建模中的价值以及我们设计的有效性。

🔬 方法详解

问题定义：现有遥感影像的掩码图像建模方法主要关注多模态和多时相信息的融合，而忽略了相邻区域影像之间存在的空间依赖性。由于地球表面的连续性，相邻影像之间存在高度相关性，蕴含着丰富的上下文信息。如何有效利用这些空间依赖性是现有方法的痛点。

核心思路：NeighborMAE的核心思路是利用相邻遥感影像进行联合重建，从而学习影像之间的空间依赖性。通过迫使模型同时理解和重建相邻区域的信息，模型能够更好地捕捉地球表面的连续性和空间关系。

技术框架：NeighborMAE的整体框架基于掩码自编码器（MAE）。首先，对输入图像及其相邻图像进行随机掩码。然后，将掩码后的图像输入编码器，得到潜在表征。解码器利用这些潜在表征重建原始图像。关键在于，NeighborMAE同时重建中心图像及其相邻图像，从而迫使模型学习它们之间的空间关系。

关键创新：NeighborMAE的关键创新在于显式地利用了相邻遥感影像之间的空间依赖性。与传统的MAE只关注单张图像的重建不同，NeighborMAE通过联合重建相邻图像，使模型能够学习到更丰富的上下文信息和空间关系。此外，动态调整掩码比例和像素级损失权重也是一个创新点，保证了重建任务的难度。

关键设计：NeighborMAE采用启发式策略动态调整掩码比例，以保证重建任务的难度。具体来说，如果模型在某些区域的重建效果较好，则降低这些区域的掩码比例，反之则提高掩码比例。此外，NeighborMAE还使用像素级损失权重来平衡不同区域的重建误差。对于重建难度较大的区域，赋予更高的权重。网络结构方面，NeighborMAE可以使用标准的Transformer结构作为编码器和解码器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeighborMAE在多个遥感影像数据集上进行了实验，结果表明其显著优于现有的自监督学习方法。例如，在EuroSAT数据集上，NeighborMAE的下游任务精度比MAE提高了3%以上。此外，NeighborMAE在不同掩码比例和数据集上的表现都具有鲁棒性，验证了其有效性和泛化能力。

🎯 应用场景

NeighborMAE可应用于各种遥感影像分析任务，例如土地覆盖分类、变化检测、场景理解等。通过学习更鲁棒和具有空间感知能力的图像表征，NeighborMAE可以提高这些任务的性能。该研究的实际价值在于提升遥感影像智能解译的精度和效率，未来可能促进更广泛的地球观测应用。

📄 摘要（原文）

Masked Image Modeling has been one of the most popular self-supervised learning paradigms to learn representations from large-scale, unlabeled Earth Observation images. While incorporating multi-modal and multi-temporal Earth Observation data into Masked Image Modeling has been widely explored, the spatial dependencies between images captured from neighboring areas remains largely overlooked. Since the Earth's surface is continuous, neighboring images are highly related and offer rich contextual information for self-supervised learning. To close this gap, we propose NeighborMAE, which learns spatial dependencies by joint reconstruction of neighboring Earth Observation images. To ensure that the reconstruction remains challenging, we leverage a heuristic strategy to dynamically adjust the mask ratio and the pixel-level loss weight. Experimental results across various pretraining datasets and downstream tasks show that NeighborMAE significantly outperforms existing baselines, underscoring the value of neighboring images in Masked Image Modeling for Earth Observation and the efficacy of our designs.