Bridging Low-Level Image Fusion and High-Level Semantic Understanding
作者: Guangyuan Dong, Lingdong Shen, Xudong Zhang, Haodong Jing, Haoyu Wang, Zihao Li, Zonghao Ying, Ziyu Song, Shenghao Liu, Jiachen Luo, Hao Zhang
分类: cs.AI, cs.IR
发布日期: 2026-11-02
💡 一句话要点
提出LANCE以解决遥感图像融合与语义理解的脱节问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像融合 语义理解 多模态检索 视觉-语言模型 对比损失
📋 核心要点
- 现有的遥感图像融合和语义理解方法通常是分开优化的，导致重建质量无法有效支持下游任务。
- LANCE通过引入结构化语言作为语义状态，结合冻结的视觉-语言模型和语言条件生成器，实现图像融合与语义理解的有效结合。
- 在七个测试集上，LANCE相较于最强学习基线在缩减尺度参考指标上提升了最高11.7%的性能，且在独立评估中也表现出显著的mAP和F1提升。
📝 摘要（中文）
遥感图像融合和语义解释通常是分开优化的，因此重建质量可能无法保持下游检索的效用。本文提出LANCE，利用结构化语言作为显式的、可索引的语义状态。一个冻结的视觉-语言模型将输入映射到一个封闭词汇的文本记录；一个基于语言的生成器融合图像；一个密集验证器与可微分的连续摘要器重新描述输出。通过文本一致性和反崩溃对比损失，LANCE在没有密集注释或视觉语言模型微调的情况下完成闭环。实验表明，LANCE在多个数据集上显著提升了图像融合的质量。
🔬 方法详解
问题定义：本文旨在解决遥感图像融合与语义理解之间的脱节问题。现有方法通常分别优化这两个任务，导致重建质量无法有效支持下游检索和应用。
核心思路：LANCE的核心思路是利用结构化语言作为显式的语义状态，通过冻结的视觉-语言模型将输入映射为文本记录，从而实现图像融合与语义理解的统一。
技术框架：LANCE的整体架构包括三个主要模块：一个冻结的视觉-语言模型用于输入映射，一个语言条件生成器用于图像融合，以及一个密集验证器与可微分的连续摘要器用于输出的重新描述。
关键创新：LANCE的主要创新在于通过文本-文本一致性和反崩溃对比损失实现闭环，而无需密集注释或对视觉-语言模型进行微调。这一设计使得语义的真实性与验证器的过拟合得以区分。
关键设计：在损失函数设计上，LANCE引入了文本一致性损失和对比损失，确保生成的语义描述与输入图像的一致性。此外，采用变分EM方法进行每步收缩结果的推导，增强了模型的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
LANCE在七个测试集上相较于最强学习基线提升了最高11.7%的性能，且在独立评估中，使用持出视觉-语言模型和监督航空检测器分别获得了+6.4 mAP和+0.072的开放词汇F1提升，显示出其显著的效果。
🎯 应用场景
该研究的潜在应用领域包括遥感图像处理、环境监测、城市规划等。通过将图像融合与语义理解相结合，LANCE能够提升多模态检索和知识管理的效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Remote sensing image fusion and semantic interpretation are usually optimized separately, so reconstruction quality need not preserve downstream retrieval utility. We propose LANCE, which uses structured language as an explicit, indexable semantic state. A frozen vision-language model maps the input to a closed-vocabulary text record; a language-conditioned generator fuses the imagery; and a dense verifier with a differentiable continuous summarizer re-describes the output. Text-text consistency and anti-collapse contrastive text-mask losses with negative queries close the loop without dense annotations or VLM fine-tuning. A variational EM formulation yields a per-step contraction result under regularity assumptions, distinguishing semantic faithfulness from verifier overfitting. Across seven test sets on GF2, QuickBird, WorldView-III, and WorldView-II, LANCE improves reduced-scale reference metrics by up to 11.7% (median 2.1%) over the strongest learning baseline. Independent evaluation using a held-out VLM and a supervised aerial detector yields gains of +6.4 mAP and +0.072 open-vocabulary F1 over the closest competitor. Text perturbations, cross-verifier transfer, and pseudo-RGB ablations examine the mechanisms underlying these gains. The framework connects image fusion to verifiable semantic representations for multimodal retrieval and knowledge management.