RSBuilding: Towards General Remote Sensing Image Building Extraction and Change Detection with Foundation Model
作者: Mingze Wang, Lili Su, Cilin Yan, Sheng Xu, Pengcheng Yuan, Xiaolong Jiang, Baochang Zhang
分类: cs.CV
发布日期: 2024-03-12 (更新: 2024-04-14)
💡 一句话要点
提出RSBuilding以解决遥感图像建筑提取与变化检测问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像 建筑提取 变化检测 跨场景泛化 基础模型 多层次特征 联邦训练 智能城市
📋 核心要点
- 现有方法将建筑提取与变化检测任务分开处理，未能充分利用两者之间的共享知识，导致效果不佳。
- RSBuilding模型通过基础模型的视角设计，采用多层次特征采样器和跨注意力解码器，增强了任务的统一性和跨场景泛化能力。
- 实验结果表明，RSBuilding能够同时处理两项结构上不同的任务，并在多个数据集上展现出优异的零-shot 泛化能力。
📝 摘要（中文）
建筑的智能解读在城市规划、宏观经济分析和人口动态等领域中具有重要意义。现有的遥感图像建筑解读方法通常将建筑提取和变化检测视为独立任务，未能有效利用共享知识。此外，遥感图像场景的复杂性和多样性使得现有算法在跨场景泛化能力上存在不足。为此，本文提出了一种综合性的遥感图像建筑理解模型RSBuilding，旨在增强跨场景泛化能力和任务通用性。通过提取图像特征并设计多层次特征采样器，结合跨注意力解码器和任务提示，RSBuilding能够同时处理建筑提取和变化检测任务，并在245,000幅图像的数据集上进行训练，展现出强大的零-shot 泛化能力。
🔬 方法详解
问题定义：本文旨在解决遥感图像中建筑提取与变化检测任务之间的相互独立性问题。现有方法往往针对单一小数据集进行建模，缺乏跨场景的泛化能力。
核心思路：RSBuilding模型通过基础模型的特征提取能力，结合多层次特征采样器来增强不同尺度的信息，同时引入跨注意力解码器以统一任务表示，整合图像的时空线索。
技术框架：RSBuilding的整体架构包括特征提取模块、多层次特征采样器和跨注意力解码器。特征提取模块利用基础模型的知识，采样器增强尺度信息，解码器则通过任务提示实现任务的统一表示。
关键创新：最重要的创新在于提出了一个联邦训练策略，能够在某些任务缺乏监督的情况下，促进模型的平滑收敛，从而增强不同任务之间的互补性。
关键设计：模型在训练过程中使用了245,000幅图像的数据集，设计了适应性损失函数以平衡不同任务的学习，同时确保了模型的零-shot 泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RSBuilding在建筑提取和变化检测任务上均表现出色，尤其是在零-shot 泛化能力方面，能够在未见过的场景中保持高效的性能。与基线模型相比，RSBuilding在多个数据集上实现了显著的性能提升，验证了其跨场景应用的有效性。
🎯 应用场景
RSBuilding模型在城市规划、环境监测和灾后评估等领域具有广泛的应用潜力。通过提供高效的建筑提取与变化检测能力，该模型能够为决策者提供重要的空间信息，支持更为精准的城市管理与发展策略。未来，该技术有望在智能城市建设和遥感数据分析中发挥更大作用。
📄 摘要（原文）
The intelligent interpretation of buildings plays a significant role in urban planning and management, macroeconomic analysis, population dynamics, etc. Remote sensing image building interpretation primarily encompasses building extraction and change detection. However, current methodologies often treat these two tasks as separate entities, thereby failing to leverage shared knowledge. Moreover, the complexity and diversity of remote sensing image scenes pose additional challenges, as most algorithms are designed to model individual small datasets, thus lacking cross-scene generalization. In this paper, we propose a comprehensive remote sensing image building understanding model, termed RSBuilding, developed from the perspective of the foundation model. RSBuilding is designed to enhance cross-scene generalization and task universality. Specifically, we extract image features based on the prior knowledge of the foundation model and devise a multi-level feature sampler to augment scale information. To unify task representation and integrate image spatiotemporal clues, we introduce a cross-attention decoder with task prompts. Addressing the current shortage of datasets that incorporate annotations for both tasks, we have developed a federated training strategy to facilitate smooth model convergence even when supervision for some tasks is missing, thereby bolstering the complementarity of different tasks. Our model was trained on a dataset comprising up to 245,000 images and validated on multiple building extraction and change detection datasets. The experimental results substantiate that RSBuilding can concurrently handle two structurally distinct tasks and exhibits robust zero-shot generalization capabilities.