Alzheimer's Disease Diagnosis using a Multimodal Approach with 3D MRI and PET

📄 arXiv: 2606.20037v1 📥 PDF

作者: Loukas Ilias, Anthi-Maria Vozinaki, Christos Ntanos, Dimitris Askounis

分类: cs.LG

发布日期: 2026-06-18

备注: 2025 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)

DOI: 10.1109/BIBM66473.2025.11357133

💡 一句话要点

提出多模态方法结合3D MRI与PET以改善阿尔茨海默病诊断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿尔茨海默病 多模态融合 3D卷积 门控多模态单元 专家混合模型 神经影像 分类任务 模型可解释性

📋 核心要点

  1. 现有多模态模型在融合MRI和PET时采用静态拼接，限制了对患者和场所异质性的适应性，且计算资源利用不充分。
  2. 本文提出结合3D卷积特征提取器与三种融合策略，并引入稀疏门控专家混合分类器，以实现输入自适应路由。
  3. 实验结果表明，GMU和门控自注意力在不同分类任务中均取得了显著的准确率提升，验证了方法的有效性。

📝 摘要（中文）

阿尔茨海默病（AD）是一种不可逆的神经退行性疾病，是全球主要死亡原因之一。早期诊断尤其在轻度认知障碍阶段至关重要，及时干预可以减缓病情进展。神经影像数据如MRI和PET扫描能够早期检测大脑变化，提供与疾病相关的结构和功能变化。然而，许多多模态模型仍采用静态拼接方式融合MRI和PET，并对所有受试者应用相同计算，这限制了对患者/场所异质性的鲁棒性，并可能浪费计算资源。为了解决这些问题，本文首次结合3D卷积特征提取器与三种融合策略（拼接、门控多模态单元GMU和门控自注意力），以及一个稀疏门控的专家混合分类器（MoE），实现输入自适应路由，仅激活每个案例中最具信息量的专家。最后，利用Grad-CAM可视化与疾病相关的区域，确保模型可解释性。实验涵盖三项二分类任务（NC vs. MCI、MCI vs. AD和NC vs. AD），结果显示GMU在NC vs. MCI和NC vs. AD任务中分别达到80.46%和95.47%的准确率，而门控自注意力在MCI vs. AD任务中达到82.08%。消融实验表明，去除MoE会在所有任务中一致降低准确率。这些发现强调了通过利用MRI和PET的互补特性，输入自适应的多模态建模在AD诊断中的价值。

🔬 方法详解

问题定义：本文旨在解决现有多模态模型在阿尔茨海默病诊断中对MRI和PET数据融合的不足，尤其是静态拼接带来的鲁棒性和计算效率问题。

核心思路：通过结合3D卷积特征提取器与多种融合策略，设计输入自适应的专家混合分类器，以便根据每个案例的特征动态选择最相关的专家进行决策。

技术框架：整体架构包括三个主要模块：3D卷积特征提取器用于提取MRI和PET的特征，三种融合策略（拼接、GMU和门控自注意力）用于特征融合，最后通过稀疏门控的MoE分类器进行分类。

关键创新：本文的主要创新在于引入了门控多模态单元和稀疏门控专家混合分类器，显著提升了模型对输入数据的适应性和分类性能，与传统方法相比具有更高的灵活性和准确性。

关键设计：在模型设计中，采用了特定的损失函数以优化分类性能，3D卷积网络结构用于特征提取，MoE分类器的设计确保了仅激活最具信息量的专家，从而提高计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GMU在NC vs. MCI任务中达到80.46%的准确率，在NC vs. AD任务中达到95.47%，而门控自注意力在MCI vs. AD任务中达到82.08%。消融实验表明，去除MoE会导致所有任务的准确率显著下降，强调了该方法的有效性和重要性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、早期阿尔茨海默病筛查及个性化治疗方案的制定。通过提高诊断的准确性和效率，能够为患者提供更及时的干预，减缓疾病进展，提升生活质量。未来，该方法还可扩展至其他神经退行性疾病的诊断与研究。

📄 摘要（原文）

Alzheimer's disease (AD) is an irreversible neurodegenerative disorder and a leading cause of death worldwide. Early diagnosis plays an important part especially at the Mild Cognitive Impairment stage, where timely intervention can help slow its progression before it advances to AD. Neuroimaging data, like Magnetic Resonance Imaging (MRI) and Positron Emission Tomography (PET) scans, can help detect brain changes early by providing structural and functional brain changes related to the disease. Yet, many multimodal models still fuse MRI and PET with static concatenation and apply identical computation to all subjects, which limits robustness to patient/site heterogeneity and can waste computation. To address these limitations, we present the first study of combining 3D convolutional feature extractors with three fusion strategies - concatenation, Gated Multimodal Unit (GMU), and gated self-attention - and a sparsely gated Mixture-of-Experts (MoE) classifier that performs input-adaptive routing, activating only the most informative experts per case. Finally, we utilize Grad-CAM to visualize disease-related regions, ensuring model interpretability. Experiments are performed across three binary classification tasks (NC vs. MCI, MCI vs. AD, and NC vs. AD). Results show that GMU achieves accuracies of 80.46 % (NC vs. MCI) and 95.47 % (NC vs. AD), while gated self-attention attains 82.08 % on MCI vs. AD. Ablations show that removing the MoE consistently degrades accuracy across all tasks. These findings underscore the value of input-adaptive, multimodal modeling for AD diagnosis by leveraging the complementary nature of MRI and PET.