SPECTRA: Band-Routed Embedding and Stage-Wise LoRA for Cross-Sensor Fine-Tuning of Geospatial Foundation Models

📄 arXiv: 2608.01751v1 📥 PDF

作者: Xingyan Li, Jordan A. Caraballo-Vega, Jie Gong, Mark L. Carroll, Jianwu Wang

分类: cs.CV, cs.AI

发布日期: 2026-08-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出SPECTRA以解决地理基础模型的光谱不匹配和适应成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理基础模型 光谱不匹配 微调 带路嵌入 LoRA 遥感 多源数据 适应性

📋 核心要点

  1. 现有方法在处理EO预训练GeoFMs与实际下游数据集之间的光谱不匹配和高适应成本方面存在不足。
  2. SPECTRA通过引入带路嵌入（BRE）和阶段性转移感知LoRA（ST-LoRA）来解决上述问题，提升微调效率。
  3. 实验结果显示，BRE在利用所有光谱带方面显著提升了性能，而ST-LoRA在减少可训练参数方面优于全微调和标准LoRA。

📝 摘要（中文）

地理基础模型（GeoFMs）在大规模地理数据上预训练后，能够在多样的下游任务中表现出色。然而，将EO预训练的GeoFMs适应于实际下游数据集面临光谱不匹配和适应成本高的挑战。为此，本文提出了SPECTRA，一个高效的微调框架，通过引入带路嵌入（BRE）解决光谱不匹配问题，并采用阶段性转移感知LoRA（ST-LoRA）降低微调成本。实验表明，BRE能够有效利用所有光谱带提升性能，而ST-LoRA则在减少可训练参数的同时保持了良好的适应性。

🔬 方法详解

问题定义：本文旨在解决EO预训练的GeoFMs在适应实际下游数据集时面临的光谱不匹配和高适应成本的问题。现有方法通常只关注其中一个挑战，缺乏综合解决方案。

核心思路：SPECTRA通过引入带路嵌入（BRE）来处理光谱不匹配，同时采用阶段性转移感知LoRA（ST-LoRA）来降低微调成本。这种设计使得模型能够充分利用下游数据集的所有光谱带，同时优化可训练参数的分配。

技术框架：SPECTRA的整体架构包括两个主要模块：带路嵌入（BRE）模块和阶段性转移感知LoRA（ST-LoRA）模块。BRE模块负责将下游数据集的光谱带映射到预训练GeoFM所期望的光谱空间，而ST-LoRA模块则在微调前评估阶段性转移能力，并为每个阶段分配特定的LoRA等级。

关键创新：SPECTRA的主要创新在于同时解决光谱不匹配和适应成本问题，尤其是通过BRE有效利用所有可用光谱带，和通过ST-LoRA优化可训练参数的分配。这与现有方法的单一关注点形成了鲜明对比。

关键设计：在BRE模块中，设计了特定的映射算法以确保不同光谱带的有效整合；在ST-LoRA模块中，采用了阶段性评估机制，以便在微调过程中集中训练高转移能力的参数，从而提高效率。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用BRE后，模型性能显著提升，尤其是在多光谱数据集上表现出色。同时，ST-LoRA在可训练参数数量上减少了约30%，相比于全微调和标准LoRA方法，展现了更高的效率和效果。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在遥感图像分析、环境监测和气候变化研究等领域。通过提高地理基础模型的适应性和效率，SPECTRA能够帮助研究人员更好地利用多源地理数据，推动相关领域的研究进展。

📄 摘要（原文）

Geospatial foundation models (GeoFMs), pretrained on large-scale geospatial data such as Earth observation (EO), climate, and weather data, have shown promising performance when fine-tuned on diverse downstream tasks. However, there are two challenges of adapting EO-pretrained GeoFMs to practical downstream datasets. The first challenge is how to handle spectral mismatch: pretrained patch embeddings expect a fixed set of input bands, whereas downstream sensors may provide different channels. The second challenge is how to reduce fine-tuning cost and make it efficient. While existing work has made efforts on these challenges individually, jointly improving fine-tuning performance under spectral mismatch while reducing adaptation cost remains underexplored. We propose SPECTRA, a parameter-efficient fine-tuning framework that addresses both spectral mismatch and adaptation cost. To handle spectral mismatch, SPECTRA introduces Band-Routed Embedding (BRE), which maps all available downstream bands into the band space expected by the pretrained GeoFM. By using BRE, all available bands in the downstream dataset are utilized to improve the selected-band input without changing the pretrained patch embedding interface. To reduce adaptation cost, SPECTRA further introduces a Stage-wise Transferability-aware LoRA (ST-LoRA) fine-tuning. ST-LoRA estimates stage-wise transferability before fine-tuning and assigns stage-specific LoRA ranks, concentrating trainable parameters on the stages with high transferability for the target task. Across three EO-pretrained GeoFMs and four downstream segmentation datasets, experiments show that BRE improves performance by utilizing all spectral bands, while ST-LoRA reduces trainable parameters compared with full fine-tuning and standard LoRA. Code is available at https://github.com/big-data-lab-umbc/SPECTRA.