LMFNet: An Efficient Multimodal Fusion Approach for Semantic Segmentation in High-Resolution Remote Sensing

📄 arXiv: 2404.13659v1 📥 PDF

作者: Tong Wang, Guanzhou Chen, Xiaodong Zhang, Chenxi Liu, Xiaoliang Tan, Jiaqi Wang, Chanjuan He, Wenlin Zhou

分类: cs.CV

发布日期: 2024-04-21

DOI: 10.1016/j.patcog.2025.111579

💡 一句话要点

提出LMFNet以解决高分辨率遥感图像多模态融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 语义分割 遥感图像 轻量级网络 特征提取 视觉变换器 土地覆盖分类

📋 核心要点

  1. 现有方法通常仅处理两种数据模态，未能充分利用多模态数据的丰富信息，导致性能不足。
  2. 本文提出LMFNet，通过权重共享的多分支视觉变换器实现多模态数据的融合与语义分割，提升特征提取能力。
  3. 在US3D数据集上，LMFNet实现了85.09%的mIoU，相比单模态方法提升10%，且参数增加仅为0.5M。

📝 摘要（中文）

尽管高分辨率遥感图像的语义分割技术迅速发展，但将数字表面模型（DSM）、RGB和近红外（NIR）等多种数据模态进行有效融合仍然面临挑战。目前的方法通常仅处理两种数据类型，未能充分利用额外模态所提供的丰富信息。为此，本文提出了一种新颖的轻量级多模态数据融合网络（LMFNet），能够同时处理RGB、NirRG和DSM等多种数据类型。LMFNet通过权重共享的多分支视觉变换器设计，减少了参数数量，同时确保了稳健的特征提取。实验结果表明，LMFNet在US3D数据集上实现了85.09%的平均交并比（mIoU），相比现有方法有显著提升。

🔬 方法详解

问题定义：本文旨在解决高分辨率遥感图像中多模态数据融合的挑战。现有方法多仅处理两种模态，未能充分利用额外模态的信息，导致分类精度不足。

核心思路：LMFNet通过设计一个轻量级的多模态融合网络，能够同时处理RGB、NirRG和DSM等多种数据类型，利用权重共享的多分支结构来减少参数数量，同时保持特征提取的有效性。

技术框架：LMFNet的整体架构包括多个主要模块：多模态特征融合重建层和多模态特征自注意力融合层。这些模块负责重建和融合来自不同模态的特征，确保信息的充分利用。

关键创新：LMFNet的主要创新在于其轻量级设计和多模态特征融合机制，能够在保持较低参数量的同时，显著提升语义分割的性能。这与现有方法的单模态或双模态处理方式形成了鲜明对比。

关键设计：在网络设计中，LMFNet采用了权重共享的多分支视觉变换器，确保了特征提取的高效性。损失函数的选择和参数设置经过精心设计，以优化多模态特征的融合效果。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

LMFNet在US3D数据集上实现了85.09%的mIoU，相比单模态方法提升了10%，且仅增加了0.5M的参数量。与双模态方法相比，LMFNet在三种输入下的mIoU提升了0.46个百分点，显示出其在多模态融合方面的显著优势。

🎯 应用场景

该研究在高分辨率遥感图像分析领域具有广泛的应用潜力，尤其是在土地覆盖分类、城市规划和环境监测等方面。通过有效融合多模态数据，LMFNet能够提供更为精准的地物分类结果，推动遥感技术的进一步发展。

📄 摘要（原文）

Despite the rapid evolution of semantic segmentation for land cover classification in high-resolution remote sensing imagery, integrating multiple data modalities such as Digital Surface Model (DSM), RGB, and Near-infrared (NIR) remains a challenge. Current methods often process only two types of data, missing out on the rich information that additional modalities can provide. Addressing this gap, we propose a novel \textbf{L}ightweight \textbf{M}ultimodal data \textbf{F}usion \textbf{Net}work (LMFNet) to accomplish the tasks of fusion and semantic segmentation of multimodal remote sensing images. LMFNet uniquely accommodates various data types simultaneously, including RGB, NirRG, and DSM, through a weight-sharing, multi-branch vision transformer that minimizes parameter count while ensuring robust feature extraction. Our proposed multimodal fusion module integrates a \textit{Multimodal Feature Fusion Reconstruction Layer} and \textit{Multimodal Feature Self-Attention Fusion Layer}, which can reconstruct and fuse multimodal features. Extensive testing on public datasets such as US3D, ISPRS Potsdam, and ISPRS Vaihingen demonstrates the effectiveness of LMFNet. Specifically, it achieves a mean Intersection over Union ($mIoU$) of 85.09\% on the US3D dataset, marking a significant improvement over existing methods. Compared to unimodal approaches, LMFNet shows a 10\% enhancement in $mIoU$ with only a 0.5M increase in parameter count. Furthermore, against bimodal methods, our approach with trilateral inputs enhances $mIoU$ by 0.46 percentage points.