RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

📄 arXiv: 2606.28266v1 📥 PDF

作者: Yelin Wang, Zijia Song, Shuo Ye, Chuanguang Yang, Miaoyu Wang, Yong Xu, Zhulin An, Yongjun Xu, Zitong Yu

分类: cs.CV

发布日期: 2026-06-26

备注: Accepted by ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出RSICCLLM以解决遥感图像变化描述问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像 变化描述 多模态模型 后训练框架 差异感知微调 双负偏好优化 数据生成 模型优化

📋 核心要点

  1. 现有遥感图像变化描述方法多依赖传统深度学习架构，模型能力有限，导致性能受限。
  2. 本文提出RSICCLLM框架，结合数据生成、差异感知微调和双负偏好优化，提升模型对变化的理解能力。
  3. 实验结果表明，RSICCLLM在仅7B参数的情况下，超越了规模更大的模型，展现出卓越的性能。

📝 摘要（中文）

遥感图像变化描述（RSICC）旨在描述双时相遥感图像之间的变化，具有重要的研究和应用价值。然而，现有方法多依赖传统深度学习架构，模型能力有限，影响性能。虽然大模型后训练技术在一般领域取得了成功，但由于数据稀缺和对细粒度变化理解的需求，直接迁移至RSICC仍具挑战性。为此，本文提出RSICCLLM，这是RSICC领域首个大规模视觉-语言模型的后训练框架。我们设计了数据生成范式，发布了指令数据集RSICI，并建立了任务特定的RSICC基准。此外，引入了差异感知监督微调，明确提取变化表示，指导模型感知和理解时间差异。最后，提出双负偏好优化（DNPO），通过两种互补的负样本构建策略构建偏好数据集RSICP，进一步提升模型性能。大量实验验证了RSICCLLM的卓越能力，仅用7B参数便超越了规模更大的模型。

🔬 方法详解

问题定义：本文旨在解决遥感图像变化描述（RSICC）中的变化理解问题。现有方法多依赖传统深度学习架构，模型能力不足，难以有效捕捉细粒度变化。

核心思路：RSICCLLM通过后训练框架，结合数据生成和差异感知微调，旨在提升模型对时间变化的理解能力。通过构建专门的数据集和优化策略，增强模型的表现。

技术框架：整体架构包括数据生成模块、差异感知微调模块和双负偏好优化模块。数据生成模块负责生成训练数据，微调模块则专注于提取变化特征，而优化模块则通过负样本策略提升模型性能。

关键创新：最重要的创新在于引入了差异感知监督微调和双负偏好优化（DNPO），这两者在于明确提取变化表示并通过互补负样本构建策略提升模型的学习效果，与现有方法相比具有显著的优势。

关键设计：在模型设计中，采用了7B参数的架构，结合特定的损失函数和优化策略，以确保模型在变化理解上的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RSICCLLM在实验中表现出色，仅用7B参数便超越了规模更大的模型，具体性能提升幅度超过了XX%（具体数据待补充），验证了其在遥感图像变化描述任务中的有效性和优越性。

🎯 应用场景

该研究在遥感监测、环境变化分析、城市发展规划等领域具有广泛的应用潜力。通过提升遥感图像变化描述的准确性，可以为决策支持提供更为可靠的数据基础，进而推动相关领域的研究和应用发展。

📄 摘要（原文）

Remote Sensing Image Change Captioning (RSICC) aims to describe changes between bi-temporal remote sensing images and holds significant research and application value. However, most existing methods rely on conventional deep learning architectures, and the limited model capacity constrains performance. Although large-model post-training techniques have achieved great success in general domains, their direct transfer to RSICC remains challenging due to data scarcity and the need for fine-grained change understanding. To address this, we propose RSICCLLM, the first post-training framework for large vision-language models in RSICC. Specifically, we design a data generation paradigm, release the instruction dataset RSICI, and establish a task-specific RSICC benchmark. We further introduce Difference-aware Supervised Fine-tuning to explicitly extract change representations and guide the model in perceiving and understanding temporal differences. In addition, we propose Dual-Negative Preference Optimization (DNPO), which employs two complementary negative-sample construction strategies to construct the preference dataset RSICP and further refine model performance. Extensive experiments validate the superior capability of RSICCLLM, which achieves outstanding results with only 7B parameters, surpassing models of substantially larger scales. The code and dataset will be made publicly available at https://github.com/keaill/RSICCLLM.