Multimodal deep learning for mapping forest dominant height by fusing GEDI with earth observation data

📄 arXiv: 2311.11777v1 📥 PDF

作者: Man Chen, Wenquan Dong, Hao Yu, Iain Woodhouse, Casey M. Ryan, Haoyu Liu, Selena Georgiou, Edward T. A. Mitchard

分类: cs.CV, cs.LG, eess.IV

发布日期: 2023-11-20

💡 一句话要点

提出MARSNet以融合GEDI与遥感数据解决森林高度估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 深度学习 遥感数据 森林高度估计 特征提取 高分辨率映射 GEDI SAR

📋 核心要点

  1. 现有方法在森林高度估计中面临多源数据融合不足和特征提取不充分的问题。
  2. 论文提出的MARSNet框架通过独立编码器提取不同遥感数据的特征，避免了模态间的干扰。
  3. 实验结果显示，MARSNet在主高度估计上优于随机森林方法，R2值和RMSE分别提升至0.62和2.82米。

📝 摘要（中文）

本研究通过整合多源遥感数据与深度学习模型，为高分辨率森林高度映射提供了新思路。研究发现GEDI相对高度指标与实地测量的森林主高度具有较强相关性。为此，提出了一种新颖的深度学习框架MARSNet，通过提取GEDI、Sentinel-1、ALOS-2 PALSAR-2和Sentinel-2等数据的特征，来估计森林主高度。MARSNet采用独立编码器提取多尺度特征，并通过共享解码器融合特征进行高度估计。实验结果表明，MARSNet在主高度估计上表现优异，R2值为0.62，RMSE为2.82米，超越了传统随机森林方法的表现。最终，MARSNet在中国吉林生成了10米分辨率的全覆盖地图，验证结果显示其有效性。

🔬 方法详解

问题定义：本研究旨在解决森林主高度的高精度估计问题，现有方法在多源遥感数据融合和特征提取方面存在不足，导致估计精度不高。

核心思路：论文提出的MARSNet框架通过独立编码器处理不同类型的遥感数据，提取多尺度特征，并通过共享解码器进行特征融合，从而提高主高度估计的准确性。

技术框架：MARSNet的整体架构包括多个独立的编码器，每个编码器负责一种遥感数据的特征提取，随后通过一个共享解码器融合这些特征进行高度估计。

关键创新：MARSNet的主要创新在于采用独立编码器避免了不同遥感模态之间的干扰，同时引入扩展空间和波段重构卷积模块，减少了空间和波段冗余，提升了特征提取的有效性。

关键设计：在网络设计上，MARSNet使用了特定的损失函数以优化高度估计的精度，编码器结构经过精心设计以适应不同遥感数据的特性，确保了多尺度特征的有效提取。

📊 实验亮点

MARSNet在主高度估计中表现出色，R2值达到0.62，RMSE为2.82米，显著优于随机森林方法的R2值0.55和RMSE 3.05米。此外，经过独立验证，MARSNet在吉林地区的应用结果为R2 0.58和RMSE 3.76米，进一步证明了其有效性。

🎯 应用场景

该研究的成果可广泛应用于森林资源监测、生态环境评估及可持续发展管理等领域。通过高精度的森林高度估计，能够为林业管理提供科学依据，促进生态保护与资源合理利用。未来，MARSNet的框架也可扩展至其他地理信息系统相关的应用场景。

📄 摘要（原文）

The integration of multisource remote sensing data and deep learning models offers new possibilities for accurately mapping high spatial resolution forest height. We found that GEDI relative heights (RH) metrics exhibited strong correlation with the mean of the top 10 highest trees (dominant height) measured in situ at the corresponding footprint locations. Consequently, we proposed a novel deep learning framework termed the multi-modal attention remote sensing network (MARSNet) to estimate forest dominant height by extrapolating dominant height derived from GEDI, using Setinel-1 data, ALOS-2 PALSAR-2 data, Sentinel-2 optical data and ancillary data. MARSNet comprises separate encoders for each remote sensing data modality to extract multi-scale features, and a shared decoder to fuse the features and estimate height. Using individual encoders for each remote sensing imagery avoids interference across modalities and extracts distinct representations. To focus on the efficacious information from each dataset, we reduced the prevalent spatial and band redundancies in each remote sensing data by incorporating the extended spatial and band reconstruction convolution modules in the encoders. MARSNet achieved commendable performance in estimating dominant height, with an R2 of 0.62 and RMSE of 2.82 m, outperforming the widely used random forest approach which attained an R2 of 0.55 and RMSE of 3.05 m. Finally, we applied the trained MARSNet model to generate wall-to-wall maps at 10 m resolution for Jilin, China. Through independent validation using field measurements, MARSNet demonstrated an R2 of 0.58 and RMSE of 3.76 m, compared to 0.41 and 4.37 m for the random forest baseline. Our research demonstrates the effectiveness of a multimodal deep learning approach fusing GEDI with SAR and passive optical imagery for enhancing the accuracy of high resolution dominant height estimation.