UniverSat: Resolution- and Modality-Agnostic Transformers for Earth Observation

📄 arXiv: 2606.23503v1 📥 PDF

作者: Yohann Perron, Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

分类: cs.CV

发布日期: 2026-06-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniverSat以解决地球观测中的多模态输入问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉变换器 地球观测 多模态融合 自监督学习 补丁编码器

📋 核心要点

  1. 现有的视觉变换器方法依赖于固定的补丁投影器，难以适应地球观测中多样的输入模态和分辨率。
  2. UniverSat通过通用补丁编码器将不同来源的补丁映射到共享嵌入空间，支持自监督学习，提升模型的通用性。
  3. 在多个标准EO基准上进行的实验表明，该方法在分类和分割任务上均取得了显著的性能提升。

📝 摘要（中文）

视觉变换器（ViT）在计算机视觉领域占据主导地位，但其对固定补丁投影器的依赖限制了其在地球观测（EO）中的应用，因为输入的模态、尺度和分辨率差异很大。本文提出UniverSat，一个基于ViT风格的骨干网络，围绕通用补丁编码器构建，能够将来自不同空间、光谱和时间分辨率的补丁，以及光学和非光学传感器的数据映射到共享的嵌入空间中。通过自监督学习，该方法使得在异构多模态数据集上训练单一模型成为可能，从而获得稳健的传感器无关空间特征。我们在GeoBench、PANGEABench和SpectralEarth等标准EO基准上验证了该方法，取得了良好的分类和分割结果。

🔬 方法详解

问题定义：现有的视觉变换器方法在处理地球观测数据时面临挑战，主要是由于其对固定补丁投影器的依赖，导致无法有效应对多样的输入模态、尺度和分辨率。

核心思路：UniverSat的核心思路是设计一个通用补丁编码器，能够将来自不同传感器和分辨率的补丁映射到一个共享的嵌入空间中，从而实现模型的通用性和灵活性。

技术框架：该方法的整体架构包括通用补丁编码器、共享权重的嵌入空间和自监督学习机制。通过这些模块，UniverSat能够处理异构的多模态数据集。

关键创新：UniverSat的关键创新在于其通用补丁编码器的设计，使得模型能够在不同的输入条件下保持一致的性能，这是与现有方法的本质区别。

关键设计：在关键设计方面，UniverSat采用了共享权重的嵌入空间，并通过自监督学习优化模型，具体的损失函数和网络结构细节在论文中进行了详细描述。

📊 实验亮点

在GeoBench、PANGEABench和SpectralEarth等标准EO基准上的实验结果显示，UniverSat在分类和分割任务上均取得了显著的性能提升，具体表现为在多个任务上超过了现有的基线模型，验证了其方法的有效性和优越性。

🎯 应用场景

UniverSat的研究成果在地球观测领域具有广泛的应用潜力，能够有效处理来自不同传感器的数据，提升环境监测、资源管理和灾害响应等领域的智能化水平。未来，该方法有望推动多模态数据融合技术的发展，促进相关应用的普及与深化。

📄 摘要（原文）

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.