SLED: Scalable Location Encoding via Distillation

📄 arXiv: 2608.06612v1 📥 PDF

作者: Kevin Lane, Zhongying Wang, Esther Rolf, Morteza Karimzadeh

分类: cs.CV, cs.AI

发布日期: 2026-08-06

💡 一句话要点

提出SLED以解决地理空间数据编码效率低的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间数据 位置编码 蒸馏训练 多模态融合 遥感图像 计算效率 模型灵活性

📋 核心要点

  1. 现有地理位置编码器依赖于高计算成本的CLIP框架，批量需求大且扩展性差。
  2. SLED通过蒸馏方法，利用地理位置作为绑定模态，支持多模态数据的灵活预训练。
  3. SLED在多项基准任务中表现优异，且在小批量下实现了显著的计算效率提升。

📝 摘要（中文）

随着地理空间数据的广泛可用，学习高质量的地球表示面临巨大挑战。现有的地理位置编码器依赖于计算成本高昂的CLIP风格框架，需大批量样本且在多模态扩展时表现不佳。本文提出了一种基于蒸馏的可扩展位置编码器SLED，利用地理位置作为绑定模态，能够灵活地预训练多种模态的地理数据，且在较小的批量下表现优异，显著降低了计算成本。实验表明，SLED在多项人类中心基准任务中表现优于现有方法。

🔬 方法详解

问题定义：现有的地理位置编码器在处理大规模地理空间数据时，面临计算资源消耗高、批量需求大以及多模态扩展困难等问题。

核心思路：SLED通过蒸馏技术，利用地理位置作为绑定模态，能够在较小的批量下有效预训练位置编码器，提升编码效率和灵活性。

技术框架：SLED的整体架构包括数据预处理、蒸馏训练和多模态融合三个主要模块。首先对地理数据进行预处理，然后通过蒸馏方法训练位置编码器，最后实现多模态数据的融合。

关键创新：SLED的主要创新在于其蒸馏方法的应用，使得位置编码器能够在小批量下高效训练，且无需进行时空共注册，显著提升了模型的灵活性和效率。

关键设计：在参数设置上，SLED支持小至128的批量训练，损失函数设计上采用了适应性损失函数以提高训练稳定性，网络结构则为模块化设计，便于扩展和集成不同模态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SLED模型在19个人类中心基准任务上表现优异，尤其是在小批量训练下，性能与现有方法持平或超越，显示出在计算效率和模型灵活性上的显著提升。

🎯 应用场景

SLED的研究成果在遥感图像分析、环境监测、城市规划等领域具有广泛的应用潜力。通过高效的地理空间数据编码，能够为智能决策提供更为精准的支持，推动相关领域的技术进步与创新。

📄 摘要（原文）

The plethora of readily available geospatial data offers exciting opportunities to learn high quality representations of the planet, but the sheer size of the Earth Observations (EO), differing modalities, and different sensor types pose significant challenges in doing so. Location encoders have emerged as an efficient way of compressing EOs into location-specific embeddings. However, current state-of-the-art location encoders rely on computationally expensive CLIP-style frameworks that require large batch sizes in the 16K--32K range, suffer from false negative samples, and scale poorly with additional modalities. We introduce the Scalable Location Encoder via Distillation (SLED), a distillation-based location encoder that uses geospatial location as a binding modality to pretrain location encoders with any modality of geospatial data. The resulting location encoder framework is lightweight, modular, and can flexibly incorporate multiple modes, while eliminating the need for spatiotemporal coregistration of samples. SLED is performant with batch sizes as small as 128, enabling pretraining at a fraction of the runtime and compute costs of current state-of-the-art models. We demonstrate our approach by pretraining unimodal and multimodal SLED models on Sentinel-1, Sentinel-2, and Landsat imagery. We show that both unimodal and multimodal SLED models keep pace with or outperform existing approaches on a diverse set of 19 human-centric benchmark tasks and explore the benefits of using additional modes in pretraining.