CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders

📄 arXiv: 2311.00566v1 📥 PDF

作者: Anthony Fuller, Koreen Millard, James R. Green

分类: cs.CV

发布日期: 2023-11-01

备注: NeurIPS 2023 Camera Ready

💡 一句话要点

提出CROMA框架以提升遥感数据的自监督学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感 自监督学习 多模态融合 对比学习 深度学习

📋 核心要点

  1. 现有的遥感数据处理方法在处理稀疏标注和多模态数据时存在效率低下和表示能力不足的问题。
  2. CROMA框架通过结合对比学习和重建目标，分别编码光学和雷达数据，并进行跨模态学习，提升了表示能力。
  3. CROMA在多个分类和分割基准测试中表现优异，相较于现有最先进模型平均提升1.8%至8.4%。

📝 摘要（中文）

遥感作为一个重要且快速发展的应用领域，提供了大量稀疏标注的空间对齐多模态数据，因此自监督学习算法显得尤为重要。本文提出CROMA框架，结合对比学习和重建自监督目标，学习丰富的单模态和多模态表示。该方法分别编码空间和时间对齐的多光谱光学和合成孔径雷达样本，并进行跨模态对比学习。另一个编码器融合这些传感器，生成联合多模态编码，用于通过轻量解码器预测被遮蔽的图像块。实验表明，这些目标在空间对齐的多模态数据上是互补的。

🔬 方法详解

问题定义：本研究旨在解决遥感领域中稀疏标注和多模态数据处理的效率低下与表示能力不足的问题。现有方法往往无法充分利用空间对齐的多模态数据，导致学习效果不佳。

核心思路：CROMA框架通过结合对比学习和重建自监督目标，分别对光学和雷达数据进行编码，利用跨模态对比学习来提升模型的表示能力。这样的设计使得模型能够更好地捕捉不同模态之间的关联性。

技术框架：CROMA的整体架构包括多个模块：首先，分别对光学和雷达样本进行编码；其次，进行跨模态对比学习；最后，通过轻量解码器预测被遮蔽的图像块。该框架有效整合了多模态信息，提升了学习效果。

关键创新：CROMA的主要创新在于引入了X-和2D-ALiBi机制，这些机制在空间上对跨模态和自注意力矩阵进行偏置，从而改善了表示能力，并使模型能够有效地推断更大尺寸的图像。

关键设计：在模型设计中，采用了轻量级解码器和特定的损失函数，以确保在处理多模态数据时的高效性和准确性。此外，模型的参数设置经过精心调整，以优化学习效果。

🖼️ 关键图片

img_0

📊 实验亮点

CROMA在四个分类基准测试中平均提升1.8%至8.4%，在kNN分类和K-means聚类中也表现出色，显示出其在处理多模态遥感数据时的显著优势。该框架在多个任务上超越了当前最先进的多光谱模型，验证了其有效性。

🎯 应用场景

CROMA框架在遥感应用中具有广泛的潜在价值，能够有效处理多模态数据，提升分类和分割任务的性能。其自监督学习能力使得在缺乏标注数据的情况下，仍能获得高质量的表示，未来可应用于环境监测、城市规划等多个领域。

📄 摘要（原文）

A vital and rapidly growing application, remote sensing offers vast yet sparsely labeled, spatially aligned multimodal data; this makes self-supervised learning algorithms invaluable. We present CROMA: a framework that combines contrastive and reconstruction self-supervised objectives to learn rich unimodal and multimodal representations. Our method separately encodes masked-out multispectral optical and synthetic aperture radar samples -- aligned in space and time -- and performs cross-modal contrastive learning. Another encoder fuses these sensors, producing joint multimodal encodings that are used to predict the masked patches via a lightweight decoder. We show that these objectives are complementary when leveraged on spatially aligned multimodal data. We also introduce X- and 2D-ALiBi, which spatially biases our cross- and self-attention matrices. These strategies improve representations and allow our models to effectively extrapolate to images up to 17.6x larger at test-time. CROMA outperforms the current SoTA multispectral model, evaluated on: four classification benchmarks -- finetuning (avg. 1.8%), linear (avg. 2.4%) and nonlinear (avg. 1.4%) probing, kNN classification (avg. 3.5%), and K-means clustering (avg. 8.4%); and three segmentation benchmarks (avg. 6.4%). CROMA's rich, optionally multimodal representations can be widely leveraged across remote sensing applications.