Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction

📄 arXiv: 2606.16580v1 📥 PDF

作者: Daniele Mos, Felipe Drummond, Anton Bossenbroek, Soufiane el Khinifri

分类: cs.LG, cs.CV

发布日期: 2026-06-15

备注: Paper is 27 pages, 14 figures, 12 tables

💡 一句话要点

提出多模态时空图神经网络以解决土壤有机碳预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 土壤有机碳 图神经网络 多模态融合 不确定性量化 深度学习

📋 核心要点

  1. 现有SOC预测方法依赖手工特征和单一模型，无法充分利用光谱和时间信息，且忽视了空间结构的复杂性。
  2. 本文提出SpTGNN，通过异构图表示土壤测量，结合多模态信号和环境协变量，利用关系图注意力学习不同模式。
  3. 在全球SOC数据集上，SpTGNN的深度集成模型在非洲测试集上取得了R²=0.762的成绩，显著优于基线模型XGBoost。

📝 摘要（中文）

土壤表层有机碳（SOC）预测对于农业可持续性、土地使用政策和施肥规划至关重要。现有方法存在两大局限性：一是将手工设计的协变量与经典机器学习或单模态深度模型结合，忽视了丰富的光谱和时间信息；二是基于网格的架构忽略了田间测量的非规则空间结构。为此，本文提出了多模态时空图神经网络（SpTGNN），通过异构图表示土壤测量，应用关系图注意力学习不同关系的模式，并结合多种信号和环境协变量进行特征提取。实验表明，该方法在多个区域的SOC预测中表现优异，显著提高了预测精度。

🔬 方法详解

问题定义：本文旨在解决土壤有机碳（SOC）预测中的信息缺失和空间结构忽视问题。现有方法往往依赖手工特征和单一模型，无法充分利用多模态数据和复杂的空间关系。

核心思路：提出多模态时空图神经网络（SpTGNN），通过异构图结构表示土壤测量数据，结合多种信号（如Sentinel-2、Sentinel-1和DEM）和环境协变量，利用关系图注意力机制学习不同关系的特征模式。

技术框架：SpTGNN的整体架构包括三个主要模块：异构图构建、特征提取和Mixture-of-Experts（MoE）融合。异构图通过空间接近性、光谱相似性和高程三种边类型连接节点，特征提取模块使用精调的TerraMind编码器提取节点特征，最后通过MoE模块融合不同信号流。

关键创新：本研究的创新点在于首次将基础模型特征提取、异构图注意力和不确定性量化相结合，形成统一的SOC估计框架，显著提升了预测精度和不确定性评估能力。

关键设计：在模型设计中，采用了稀疏的Mixture-of-Experts模块进行特征融合，使用异方差回归和深度集成方法捕捉不确定性，并引入Moran's I惩罚项来正则化空间自相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SpTGNN的五成员深度集成模型在非洲测试集上取得了R²=0.762，RMSE为3.51±0.48 g/kg，MAPE为22.9%，显著优于基线模型XGBoost，最佳单个检查点的验证R²达到0.864，展示了模型的优越性能。

🎯 应用场景

该研究的潜在应用领域包括农业管理、环境监测和土地使用规划。通过准确预测土壤有机碳含量，能够为农业可持续发展提供科学依据，优化施肥策略，促进土壤健康和生态平衡。

📄 摘要（原文）

Top-soil organic carbon (SOC) prediction is fundamental to agricultural sustainability, land use policy and fertilization planning. Existing approaches face two limitations: they pair hand-crafted covariates with classical ML or single-modal deep models that miss rich spectral and temporal information, and grid-based architectures ignore the irregular spatial structure of field measurements. We introduce SpTGNN, a multi-modal spatio-temporal graph neural network addressing both. SpTGNN represents soil measurements as nodes in a heterogeneous graph with three edge types (spatial proximity, spectral similarity, elevation), and applies relational graph attention to learn separate patterns per relation. A fine-tuned TerraMind encoder extracts node features from Sentinel-2, Sentinel-1 and DEM signals, combined with per-sample environmental covariates and learned positional and temporal embeddings. A sparse Mixture-of-Experts module fuses the four streams via top-$k$ routing. Uncertainty is captured by pairing heteroscedastic regression (aleatoric) with deep ensembles (epistemic), and a Moran's $I$ penalty regularizes spatial autocorrelation. We evaluate on a global SOC corpus split into three regional instances ($\sim$49k samples globally, Africa $\sim$26k, Europe $\sim$14k). Our 5-member deep ensemble reports $R^2=0.762$, RMSE $=3.51\pm0.48$ g/kg and MAPE $=22.9\%$ on the Africa test split, improving over a tabular XGBoost baseline; the best single checkpoint reaches validation $R^2=0.864$. Ablations confirm the heterogeneous graph, MoE fusion and fine-tuned backbone each contribute substantively, and the ensemble UQ stack achieves post-calibration ECE of $0.031$ (hybrid) and $0.026$ ($β$-NLL). To our knowledge, this is the first framework to unify foundation-model feature extraction, heterogeneous graph attention and decomposed uncertainty quantification for SOC estimation.