Lightweight Adaptation of General-Purpose VLMs for Multispectral and SAR Image Understanding

📄 arXiv: 2609.02187v1 📥 PDF

作者: Shanji Liu, Kelu Yao, Junxiao Xue, Chenghui Lv, Xiangyang Miao, Yekai Huang, Yaying Chen, Chao Li

分类: cs.CV

发布日期: 2026-09-02

备注: 18 pages, 7 figures, 17 tables

💡 一句话要点

提出轻量适应方法以解决多光谱和SAR图像理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多光谱图像理解 合成孔径雷达 视觉语言模型 轻量适应 土地覆盖分类 结构化监督 LoRA技术

📋 核心要点

  1. 现有的通用视觉语言模型在处理多光谱和SAR图像时存在适应性不足的问题，通常需要专用的编码器和领域预训练。
  2. 论文提出了一种轻量适应方法，通过将观测渲染为多个视图并利用LoRA技术，简化了模型的适应过程。
  3. 在实验中，适应后的Qwen3-VL在六类土地覆盖任务中达到了0.8275的微F1分数，且在其他任务中也表现出显著提升。

📝 摘要（中文）

通用视觉语言模型（VLMs）在视觉识别、指令跟随和生成方面表现出色。然而，大多数预训练的视觉编码器是基于三通道自然图像构建的，无法直接处理多光谱或合成孔径雷达（SAR）观测。适应这些传感器通常需要专用编码器和领域预训练，降低了强大通用检查点的重用效率。本文展示了通用VLM的多图像接口提供了一种轻量级替代方案。我们将每个观测渲染为五个光学视图和一个SAR视图，并在提示中命名，利用LoRA适应语言网络和选定的视觉变换器模块。这种方法通过现有的视觉接口暴露了波段复合、光谱指数和雷达后向散射。实验结果表明，适应后的Qwen3-VL在BigEarthNet-v2的六类土地覆盖基准上达到了0.8275的微F1分数。

🔬 方法详解

问题定义：本文旨在解决通用视觉语言模型在多光谱和SAR图像理解中的适应性不足问题。现有方法通常依赖于专用编码器和领域预训练，导致重用效率低下。

核心思路：论文提出的解决方案是利用通用VLM的多图像接口，将每个观测渲染为五个光学视图和一个SAR视图，并通过LoRA技术适应语言网络和视觉变换器模块，从而实现轻量级的模型适应。

技术框架：整体架构包括多个阶段：首先将观测数据转换为多视图格式，然后通过LoRA对模型进行适应，最后利用结构化监督进行土地覆盖识别。

关键创新：最重要的技术创新在于通过渲染输入和紧凑的LoRA适应，使得通用VLM能够有效处理多光谱和SAR任务，而无需训练新的基础模型。

关键设计：在设计中，使用了LoRA技术来适应语言网络和视觉变换器模块，确保模型能够利用提供的传感器观测，同时保持高效的计算性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，适应后的Qwen3-VL在BigEarthNet-v2的六类土地覆盖基准上达到了0.8275的微F1分数，显示出显著的性能提升。此外，适应协议在四种测试的VLM架构中均有改善，并成功转移到Sen1Floods11洪水验证和BigEarthNet.txt字幕生成任务。

🎯 应用场景

该研究的潜在应用领域包括环境监测、农业管理和灾害响应等。通过有效处理多光谱和SAR图像，模型能够为土地覆盖分类、洪水验证等任务提供支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

General-purpose vision-language models (VLMs) now support strong visual recognition, instruction following, and generation. However, most pretrained visual encoders are built around three-channel natural images and do not directly accommodate observations such as native multispectral measurements or synthetic aperture radar (SAR). Adapting VLMs to these sensors typically requires dedicated encoders and domain pretraining, slowing the reuse of stronger general-purpose checkpoints. We show that the multi-image interface of general-purpose VLMs offers a lightweight alternative. Our protocol renders each observation as five optical views and one SAR view, names them in the prompt, and adapts the language network and selected visual transformer blocks with LoRA. This exposes band composites, spectral indices, and radar backscatter through an existing visual interface. For land-cover recognition, structured supervision couples predicted classes with sensor evidence. We further construct preference pairs in which a true label is omitted while its supporting evidence is retained, encouraging complete predictions that remain consistent with the observations. On a balanced six-class land-cover benchmark derived from BigEarthNet-v2, the adapted Qwen3-VL reaches 0.8275 micro F1. The same input and adaptation protocol improves all four tested VLM architectures and transfers to Sen1Floods11 flood verification and BigEarthNet.txt captioning. Image removal and mismatch controls show that the adapted models use the supplied sensor observations. Together, these results demonstrate that VLMs can be repurposed for multispectral and SAR tasks through rendered inputs and compact LoRA adaptation, without training a new foundation model.