RSCaMa: Remote Sensing Image Change Captioning with State Space Model
作者: Chenyang Liu, Keyan Chen, Bowen Chen, Haotian Zhang, Zhengxia Zou, Zhenwei Shi
分类: cs.CV
发布日期: 2024-04-29 (更新: 2024-05-21)
🔗 代码/项目: GITHUB
💡 一句话要点
提出RSCaMa模型以解决遥感图像变化描述中的时空建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 遥感图像 变化描述 时空建模 状态空间模型 深度学习 特征提取 环境监测
📋 核心要点
- 现有方法在双时相特征的联合时空建模上存在不足，难以有效捕捉空间和时间变化。
- 本文提出RSCaMa模型，通过多个CaMa层实现高效的时空建模，结合SD-SSM和TT-SSM增强模型的空间和时间理解能力。
- 实验结果表明，RSCaMa在RSICC任务中表现优异，超越了现有的基线方法，展示了Mamba的潜力。
📝 摘要（中文）
遥感图像变化描述（RSICC）旨在用语言描述多时相遥感图像之间的表面变化，包括变化的物体类别、位置和动态（如新增或消失的物体）。这对双时相特征的时空建模提出了挑战。尽管以往方法在空间变化感知上有所进展，但在联合时空建模方面仍存在不足。为此，本文提出了一种新颖的RSCaMa模型，通过多个CaMa层实现高效的联合时空建模，能够迭代优化双时相特征。我们引入了Mamba（状态空间模型），并提出了空间差异感知SSM（SD-SSM），克服了以往CNN和Transformer方法在感受野和计算复杂度上的局限性。实验验证了RSCaMa的有效性，并展示了Mamba在RSICC任务中的潜力。
🔬 方法详解
问题定义：本文旨在解决遥感图像变化描述中的双时相特征联合时空建模问题。现有方法在空间变化感知上有所进展，但在时空建模的有效性和复杂度上仍存在不足。
核心思路：论文提出RSCaMa模型，通过引入多个CaMa层实现高效的联合时空建模，利用SD-SSM和TT-SSM分别增强空间和时间特征的捕捉能力。
技术框架：RSCaMa模型的整体架构包括多个CaMa层，结合SD-SSM进行空间建模，TT-SSM进行时间建模，形成一个迭代优化的流程。
关键创新：最重要的技术创新在于引入了Mamba状态空间模型，结合SD-SSM和TT-SSM，显著提升了模型在空间和时间特征捕捉上的能力，与传统CNN和Transformer方法相比，具有更好的感受野和计算效率。
关键设计：模型设计中，SD-SSM关注空间差异，TT-SSM则通过时间交叉扫描双时相特征，优化了信息交互和理解能力。
📊 实验亮点
实验结果显示，RSCaMa模型在RSICC任务中表现优异，相较于基线方法，性能提升显著，尤其在空间和时间特征的捕捉能力上，验证了Mamba的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括环境监测、城市规划和灾害评估等。通过准确描述遥感图像中的变化，RSCaMa模型能够为决策提供重要支持，推动遥感技术在实际场景中的应用与发展。
📄 摘要（原文）
Remote Sensing Image Change Captioning (RSICC) aims to describe surface changes between multi-temporal remote sensing images in language, including the changed object categories, locations, and dynamics of changing objects (e.g., added or disappeared). This poses challenges to spatial and temporal modeling of bi-temporal features. Despite previous methods progressing in the spatial change perception, there are still weaknesses in joint spatial-temporal modeling. To address this, in this paper, we propose a novel RSCaMa model, which achieves efficient joint spatial-temporal modeling through multiple CaMa layers, enabling iterative refinement of bi-temporal features. To achieve efficient spatial modeling, we introduce the recently popular Mamba (a state space model) with a global receptive field and linear complexity into the RSICC task and propose the Spatial Difference-aware SSM (SD-SSM), overcoming limitations of previous CNN- and Transformer-based methods in the receptive field and computational complexity. SD-SSM enhances the model's ability to capture spatial changes sharply. In terms of efficient temporal modeling, considering the potential correlation between the temporal scanning characteristics of Mamba and the temporality of the RSICC, we propose the Temporal-Traversing SSM (TT-SSM), which scans bi-temporal features in a temporal cross-wise manner, enhancing the model's temporal understanding and information interaction. Experiments validate the effectiveness of the efficient joint spatial-temporal modeling and demonstrate the outstanding performance of RSCaMa and the potential of the Mamba in the RSICC task. Additionally, we systematically compare three different language decoders, including Mamba, GPT-style decoder, and Transformer decoder, providing valuable insights for future RSICC research. The code will be available at \emph{\url{https://github.com/Chen-Yang-Liu/RSCaMa}}