Supervised domain adaptation for building extraction from off-nadir aerial images

📄 arXiv: 2311.03867v2 📥 PDF

作者: Bipul Neupane, Jagannath Aryal, Abbas Rajabifard

分类: cs.CV

发布日期: 2023-11-07 (更新: 2024-08-07)

备注: This work has been submitted to Elsevier for possible publication

💡 一句话要点

提出监督域适应方法以解决建筑提取中的标签不对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 建筑提取 监督域适应 卷积神经网络 编码器-解码器 知识蒸馏 深度学习 城市规划

📋 核心要点

  1. 现有的教师-学生学习方法在建筑提取任务中存在学生网络性能不足的问题，无法有效应对标签与图像之间的错位。
  2. 本文提出了一种监督域适应（SDA）方法，通过高性能轻量级编码器的编码器-解码器网络来解决建筑提取中的数据噪声问题。
  3. 实验结果显示，所提方法在低层、中层、高层建筑的F1分数分别达到了0.943、0.868和0.912，显著优于现有的KD和DML方法。

📝 摘要（中文）

建筑提取是城市环境管理和规划中所需的任务，但训练数据中标签与偏离正视图的源图像之间的错位会影响提取效果。现有的噪声容忍卷积神经网络（CNN）的教师-学生学习方法存在学生网络准确率较低且无法超越教师性能的问题。本文提出了一种监督域适应（SDA）方法，利用编码器-解码器网络（EDN）在噪声和干净数据集之间进行适应。通过与现有的知识蒸馏（KD）和深度互学习（DML）方法进行比较，实验结果表明，所提方法在不同高度的城市建筑提取中表现优异，F1分数显著提升。

🔬 方法详解

问题定义：本文旨在解决建筑提取任务中，训练数据中标签与偏离正视图的源图像之间的错位问题。现有的教师-学生学习方法在处理噪声数据时，学生网络的性能通常低于教师网络，难以达到预期效果。

核心思路：论文提出的监督域适应（SDA）方法，通过在噪声和干净数据集之间进行适应，利用编码器-解码器网络（EDN）来提升建筑提取的准确性。该方法旨在通过高性能轻量级编码器来增强模型的鲁棒性。

技术框架：整体架构包括多个阶段：首先，构建高性能的轻量级编码器（如EfficientNet、ResNeSt和MobileViT）；其次，设计编码器-解码器网络以进行特征提取和重建；最后，通过对比实验评估不同网络和优化器的性能。

关键创新：最重要的技术创新在于提出了一种新的监督域适应框架，能够有效地在噪声和干净数据集之间进行知识迁移，显著提高了建筑提取的准确性，尤其是在高层建筑的提取上。

关键设计：在实验中，使用了43种轻量级CNN、五种优化器、九种损失函数和七种EDN，经过系统的基准测试，确定了最佳的EDN配置以实现SDA。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提的SDA方法在低层建筑的F1分数达到0.943，中层建筑为0.868，高层建筑为0.912，显著优于传统的知识蒸馏（KD）和深度互学习（DML）方法，提升幅度明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、建筑管理和环境监测等。通过提高建筑提取的准确性，能够为城市发展提供更为精确的数据支持，进而推动智能城市的建设与管理。未来，该方法可扩展至其他领域的图像分割任务，具有广泛的应用价值。

📄 摘要（原文）

Building extraction $-$ needed for inventory management and planning of urban environment $-$ is affected by the misalignment between labels and off-nadir source imagery in training data. Teacher-Student learning of noise-tolerant convolutional neural networks (CNNs) is the existing solution, but the Student networks typically have lower accuracy and cannot surpass the Teacher's performance. This paper proposes a supervised domain adaptation (SDA) of encoder-decoder networks (EDNs) between noisy and clean datasets to tackle the problem. EDNs are configured with high-performing lightweight encoders such as EfficientNet, ResNeSt, and MobileViT. The proposed method is compared against the existing Teacher-Student learning methods like knowledge distillation (KD) and deep mutual learning (DML) with three newly developed datasets. The methods are evaluated for different urban buildings (low-rise, mid-rise, high-rise, and skyscrapers), where misalignment increases with the increase in building height and spatial resolution. For a robust experimental design, 43 lightweight CNNs, five optimisers, nine loss functions, and seven EDNs are benchmarked to obtain the best-performing EDN for SDA. The SDA of the best-performing EDN from our study significantly outperformed KD and DML with up to 0.943, 0.868, 0.912, and 0.697 F1 scores in the low-rise, mid-rise, high-rise, and skyscrapers respectively. The proposed method and the experimental findings will be beneficial in training robust CNNs for building extraction.