Multi-task Disentangling Fusion Mamba-CNN for MODIS Spectral-Temporal Unmixing with Endmember Variability Modeling

📄 arXiv: 2610.36750v1 📥 PDF

作者: Motasem Alkayid, Yimin Zhu, Naser El-Sheimy, Lincoln Linlin Xu

分类: cs.CV

发布日期: 2026-10-27

💡 一句话要点

提出MDF-Mamba以解决MODIS光谱时间序列解混合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 光谱解混合 MODIS数据 时间序列分析 多任务学习 深度学习 端元变异建模 卷积神经网络

📋 核心要点

  1. 核心问题：现有方法在处理MODIS数据时面临光谱时间信息耦合、类内端元光谱变异和类间特征模糊等挑战。
  2. 方法要点：提出MDF-Mamba，通过解耦架构和多任务训练目标，结合光谱和时间信息，提升解混合效果。
  3. 实验或效果：在阿尔伯塔和萨斯喀彻温省的实验中，MDF-Mamba在14个评估指标中取得12个最佳性能，显示出显著的效果提升。

📝 摘要（中文）

MODIS时间序列的光谱时间解混合对于丰度映射和光谱库构建至关重要，但由于光谱时间信息耦合、类内端元光谱变异和类间特征模糊等挑战，仍然困难重重。本文提出了多任务解耦融合Mamba（MDF-Mamba）以应对这些限制。通过设计解耦架构，将每个光谱通道的专家与专用的双向状态空间（Mamba）时间分支配对，解决光谱时间耦合问题。实验结果表明，MDF-Mamba在阿尔伯塔和萨斯喀彻温省的MODIS时间序列上，在14个评估指标中取得了12个最佳性能。

🔬 方法详解

问题定义：本文旨在解决MODIS时间序列的光谱时间解混合问题。现有方法在处理光谱时间信息耦合、类内端元光谱变异和类间特征模糊时表现不佳，导致解混合效果不理想。

核心思路：论文提出的MDF-Mamba通过解耦架构将光谱专家与时间分支相结合，利用双向状态空间模型来捕捉光谱与时间的关系，从而有效解决光谱时间耦合问题。

技术框架：MDF-Mamba的整体架构包括多个模块：每个光谱通道的卷积模块、Mamba时间分支、以及mHCFusion融合模块。卷积模块处理单一光谱通道，Mamba分支编码跨通道的季节性轨迹，最后通过mHCFusion稳定地合并输出。

关键创新：最重要的创新在于引入了可学习的像素级光谱变异权重，扩展了线性混合模型，以捕捉类内端元的变化。这一设计显著提升了模型对光谱变异的适应能力。

关键设计：在损失函数设计上，结合了监督丰度估计、自监督光谱重建和端元正则化，确保模型在同一训练数据上高效学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在阿尔伯塔和萨斯喀彻温省的实验中，MDF-Mamba在14个评估指标中取得了12个最佳性能，其中在阿尔伯塔省的7个指标中全部领先，显示出显著的性能提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括环境监测、农业监测和城市规划等。通过提高MODIS数据的解混合精度，能够更准确地进行土地利用分类、作物丰度估计和生态系统变化分析，具有重要的实际价值和未来影响。

📄 摘要（原文）

Spectral-temporal unmixing of MODIS time series is essential for applications such as abundance mapping and spectral library construction, yet it remains challenging due to (i) spectral-temporal information coupling in MODIS data, (ii) intra-class endmember spectral variability and inter-class signature ambiguity, and (iii) the instability of naively fusing multiple expert representations. This paper presents the Multi- task Disentangling Fusion Mamba (MDF-Mamba) to address these limitations. To resolve spectral-temporal coupling, we design a disentangling architecture that pairs per-channel spectral experts with a dedicated bidirectional state-space (Mamba) temporal branch. Convolutional modules each process a single spectral channel, while the Mamba branch encodes the cross-channel seasonal trajectory, forming a multi-branch expert ensemble with soft inter-expert reweighting based on squeeze-and-excitation. For the integration of these spectral and temporal expert outputs, we introduce mHCFusion, adapting the manifold-constrained hyper-connection framework to merge the outputs in a stable and interpretable manner. Endmember variability is addressed by extending the linear mixing model with pixel-wise learnable spectral variability weights that capture intra-class endmember variation. Finally, we design a multi-task training objective that combines supervised abundance estimation with self-supervised spectral reconstruction and endmember regularization terms on the same training data, yielding a highly efficient framework for spectral-temporal unmixing. Experiments on MODIS time series covering the Alberta and Saskatchewan provinces show that MDF-Mamba achieves the best performance on 12 of 14 evaluation metrics across both datasets (7 of 7 on Alberta; 5 of 7 on Saskatchewan), ranking second on the remaining two.