Keep Your Friends Close, and the Right Neighbours Closer: Disaster-Conditioned Kernel-Regularized Graph Attention for Building Damage Classification
作者: Fuad Hasan, Chul Min Yeum
分类: cs.CV, cs.LG
发布日期: 2026-08-20
备注: Accepted in ECCV 2026
💡 一句话要点
提出灾害条件下的图注意力机制以改进建筑损坏分类
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 建筑损坏分类 图注意力机制 空间上下文 灾害类型 深度学习 机器学习 数据集转移
📋 核心要点
- 现有方法在建筑损坏分类中主要依赖单一建筑的外观特征，忽视了空间上下文的影响，导致分类效果不佳。
- 本文提出了一种基于灾害类型的图注意力机制，通过引入可学习的空间核先验，增强了对不同灾害类型的适应性。
- 实验结果显示，该方法在零样本事件转移中提高了宏观F1分数，并显著降低了残差空间自相关，表明其有效性。
📝 摘要（中文）
灾害损坏具有空间特性：建筑物很少孤立失效。然而，利用空间上下文进行损坏分类的研究仍然相对较少，许多方法仍主要依赖于单个建筑的外观特征。不同灾害事件的邻域特征各异，简单的上下文聚合可能导致边界模糊或传播结构性错误。本文在xBD数据集上研究了这一问题，提出了一种基于灾害类型的图模型，通过引入可学习的多尺度空间核先验到注意力机制中，保持局部证据的强空间关系，同时适应不同灾害类型的有效邻域规模。实验结果表明，该方法在零样本事件转移下显著提高了宏观F1分数，并有效减少了残差空间自相关，表明更好地利用了空间上下文。
🔬 方法详解
问题定义：本文旨在解决建筑损坏分类中对空间上下文利用不足的问题。现有方法往往忽视了建筑物之间的空间关系，导致分类结果受到影响。
核心思路：提出了一种灾害类型条件的图模型，通过引入可学习的多尺度空间核先验，增强了模型对不同灾害事件的适应能力，从而更好地利用空间上下文信息。
技术框架：整体架构包括数据预处理、图构建、图注意力机制和损失函数设计。首先，从提供的多边形中裁剪出建筑的预/后结合补丁，然后基于GPS数据构建建筑图，最后通过图注意力机制进行分类。
关键创新：最重要的创新在于引入了灾害类型条件的图模型，使得模型能够根据不同灾害类型调整邻域规模，而不是使用单一的全局平滑规则。
关键设计：设计了残差去相关损失函数，以惩罚预测残差中的正Moran's I，防止简单的平滑导致的过度一致性。此外，模型的空间核先验是可学习的，允许在训练过程中自动调整。
🖼️ 关键图片
📊 实验亮点
在零样本事件转移的实验中，模型的宏观F1分数显著提高，具体提升幅度达到XX%（具体数据未提供），同时残差空间自相关显著降低，表明模型在利用空间上下文方面的有效性和鲁棒性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在灾后评估和城市规划领域。通过更准确的建筑损坏分类，可以为灾后重建提供更可靠的数据支持，帮助决策者制定有效的应对策略。此外，该方法也可扩展到其他类型的空间数据分析中，提升相关领域的研究水平。
📄 摘要（原文）
Disaster damage is spatial: buildings rarely fail in isolation. Yet using spatial context for damage classification remains surprisingly underexplored, and many pipelines still rely primarily on per-building appearance cues even when the dominant uncertainty is spatially structured. Complicating matters, the right neighbourhood is not the same across events. Floods, hurricanes, and wildfires can exhibit very different clustering behaviour, making spatial reasoning valuable but easy to misuse - naive context aggregation can improve visual coherence while oversmoothing boundaries or propagating structured errors. We study this tension on xBD (the dataset used in the xView2 challenge) in a controlled post-localization, classification-only setup: each building is represented by a pre/post combined (PPC) patch cropped from the provided polygons, and spatial context is modelled with GPS-derived building graphs. Our approach keeps local evidence "close" by preserving strong spatial relationships in disaster damage patterns, while bringing only the right neighbours "closer" through a disaster-type-conditioned graph model that injects a learnable multi-scale spatial kernel prior into attention, allowing the effective neighbourhood scale to adapt across disaster types rather than being learned as a single global smoothing rule. To discourage coherence-by-smoothing, we add a residual de-correlation loss that penalizes positive Moran's~I in prediction residuals. We evaluate the method under event and dataset shift with a leave-one-event-out (LOEO) protocol on xBD and cross-dataset transfer from xBD to Ida-BD. The model improves macro-F1 and substantially reduces residual spatial autocorrelation under zero-shot event shift, indicating better use of spatial context rather than naive smoothing and enabling more reliable transfer to unseen events within known disaster types.