Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying

📄 arXiv: 2606.20167v1 📥 PDF

作者: Jonathan Hecht, Lukas Arzoumanidis, Ziyue Li, Youness Dehbi

分类: cs.LG

发布日期: 2026-06-18

💡 一句话要点

提出多模态对比学习方法以解决地理位置嵌入问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对比学习 地理空间数据 自监督学习 位置编码器 空间预测任务

📋 核心要点

  1. 现有的空间预测任务往往受到高质量标注数据不足的限制，影响模型的性能。
  2. 本文提出的MELT和SALT架构通过利用未配对的地理空间数据，扩展了多模态对比学习的应用。
  3. 实验结果显示，MELT在稳定性和性能上优于SALT，并与双模态基线相当，表明其有效性。

📝 摘要（中文）

空间预测任务常因缺乏高质量标注的真实观测数据而受限。为解决这一挑战，自监督预训练成为一种可能的解决方案，其中对比学习在位置编码器中占据主导地位。现有方法通常仅将地理坐标与一种附加模态对齐。本文提出了两种多模态对比学习架构：通过位置绑定的多模态嵌入（MELT）和顺序交替位置训练（SALT）。这两种架构利用未配对的地理空间数据，扩展了现有框架。实验结果表明，这两种方法在四个下游任务中均与最强的双模态基线（SATCLIP）表现相当，但增加模态数量并未始终提升性能，表明所选位置编码器是主要限制因素。MELT提供了比SALT更稳定的训练效果，并为未来的扩展奠定了更强的基础。

🔬 方法详解

问题定义：本文旨在解决空间预测任务中高质量标注数据不足的问题。现有方法通常仅依赖于单一附加模态，限制了模型的表现。

核心思路：提出的MELT和SALT架构通过结合未配对的地理空间数据，扩展了对比学习的应用范围，允许多模态信息的融合。

技术框架：整体架构包括数据预处理、模态嵌入、对比学习损失计算和模型训练等主要模块。MELT和SALT在模态融合和训练策略上有所不同。

关键创新：最重要的创新在于将多模态对比学习扩展到超过两种模态，且通过位置绑定的方式实现更有效的特征对齐。与现有方法相比，MELT在训练稳定性上表现更佳。

关键设计：在模型设计中，采用了特定的损失函数以优化对比学习效果，并在网络结构上进行了调整，以适应多模态输入的特性。

📊 实验亮点

实验结果表明，MELT和SALT在四个下游任务中均与最强的双模态基线（SATCLIP）表现相当，且MELT在训练稳定性上优于SALT。这表明多模态对比学习在空间预测任务中具有良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括地理信息系统、环境监测和城市规划等。通过提高空间预测任务的准确性，能够为决策支持系统提供更可靠的数据基础，进而影响政策制定和资源管理。

📄 摘要（原文）

Spatial prediction tasks are often limited by a lack of high-quality labelled ground-truth observations. To overcome this challenge, self-supervised pre-training is a possible solution, with contrastive learning dominant for location encoders. Those approaches usually align geographic coordinates with just one additional modality. We propose two multimodal contrastive learning architectures: Multimodal Embedding via Location Tying (MELT) and Sequential Alternating Location Training (SALT). These architectures expand this framework beyond two modalities by utilising unpaired geospatial data. Both methods are technically viable and match the performance of the strongest two-modality baseline (SATCLIP) across four downstream tasks. However, increasing the number of modalities does not consistently improve performance, suggesting that the chosen location encoder is the main limitation - the contrastive objective reaches its peak early, regardless of modality diversity or pre-training volume. MELT provides more stable training than SALT and presents a stronger foundation for future scaling.