A Unified Framework for Efficient Remote Sensing Visual Question Answering: Adapting Dual, Hybrid, and Encoder-Decoder Architectures
作者: Timothy Agboada, Shikha Chandel, Yadav Raj Ghimire, Leila Hashemi-Beni
分类: cs.CV
发布日期: 2026-06-17
备注: 4 pages, 2 figures, accepted and to be presented at 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026), scheduled for 9 to 14 August 2026 in Washington D.C
💡 一句话要点
提出统一框架以提高遥感视觉问答效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感视觉问答 参数高效微调 多模态推理 混合架构 模型适配
📋 核心要点
- 遥感视觉问答面临高分辨率和语义复杂性等挑战，现有通用模型难以直接应用。
- 提出RS Adapter作为参数高效微调策略，适用于多种视觉语言模型架构，提升适应性。
- 实验显示混合FLAVA架构在多模态推理和检索能力上表现优越，建立了新基线。
📝 摘要（中文）
遥感领域的视觉问答（VQA）面临高分辨率、多尺度物体分布和语义复杂性等独特挑战。尽管通用领域的基础模型取得了显著成功，但由于领域差异和全量微调的计算成本，直接应用于遥感视觉问答存在困难。本文提出了一种参数高效微调策略RS Adapter，应用于三种不同的视觉语言模型架构：双编码器CLIP、编码器-解码器BLIP和混合FLAVA。我们引入了统一的架构手术管道，将轻量级瓶颈适配器注入冻结骨干网络的注意力和多层感知器层中，实现了快速适应，训练参数少于5%。实验结果表明，混合FLAVA架构在多模态推理和检索能力上优于单模态模型，为灾害评估和城市监测中的资源高效VQA建立了新基线。
🔬 方法详解
问题定义：本文旨在解决遥感视觉问答中的高分辨率图像和复杂语义带来的挑战。现有的通用模型在直接应用时面临领域差异和全量微调的高计算成本问题。
核心思路：提出RS Adapter作为一种参数高效微调策略，通过在冻结的骨干网络中注入轻量级适配器，减少训练参数并提高适应性。
技术框架：整体架构包括三种视觉语言模型：双编码器CLIP、编码器-解码器BLIP和混合FLAVA。通过统一的架构手术管道，将适配器注入注意力和多层感知器层中。
关键创新：最重要的创新在于引入轻量级瓶颈适配器，使得模型在保持性能的同时，训练参数减少至5%以下。这与现有方法的全量微调形成鲜明对比。
关键设计：在设计中，采用了适配器注入技术，优化了损失函数和网络结构，以确保在多模态推理和检索能力上达到最佳平衡。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有适配后的模型均实现了收敛，其中混合FLAVA架构在多模态推理和检索能力上表现最佳，相较于单模态模型有显著提升，建立了新的资源高效VQA基线。
🎯 应用场景
该研究在灾害评估和城市监测等领域具有广泛的应用潜力。通过提高遥感视觉问答的效率，能够更快速地处理和分析高分辨率图像数据，为决策提供支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Visual Question Answering (VQA) in the Remote Sensing (RS) domain presents unique challenges due to the high resolution, multi scale object distribution, and semantic complexity of aerial imagery. While general domain Foundation Models have achieved remarkable success, their direct application to RSVQA is hindered by massive domain shifts and the computationally prohibitive nature of full fine tuning. This study presents a comparative analysis of RS Adapter, a Parameter Efficient Fine Tuning (PEFT) strategy, applied across three distinct Vision Language Model (VLM) architectures: the Dual Encoder CLIP, the Encoder Decoder BLIP, and the Hybrid FLAVA. We introduce a unified architectural surgery pipeline that injects lightweight bottleneck adapters into the attention and MLP layers of frozen backbones, enabling rapid adaptation with less than 5 percent of trainable parameters. Experimental results on the high resolution RSVQA x dataset demonstrate that while all adapted models achieve convergence, the Hybrid FLAVA architecture offers a superior balance of multimodal reasoning and retrieval capabilities compared to its unimodal counterparts. Our findings establish a new baseline for resource efficient VQA in disaster assessment and urban monitoring.