A Bi-Pyramid Multimodal Fusion Method for the Diagnosis of Bipolar Disorders

📄 arXiv: 2401.07571v1 📥 PDF

作者: Guoxin Wang, Sheng Shi, Shan An, Fengmei Fan, Wenshu Ge, Qi Wang, Feng Yu, Zhiren Wang

分类: cs.CV

发布日期: 2024-01-15

备注: Accepted by IEEE ICASSP 2024

💡 一句话要点

提出双金字塔多模态融合方法以改善双相障碍诊断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双相障碍 多模态融合 功能磁共振成像 结构性磁共振成像 医学诊断 特征提取 深度学习

📋 核心要点

  1. 现有的双相障碍诊断方法主要依赖静息态fMRI，准确性不足以满足临床需求。
  2. 本文提出了一种结合sMRI和fMRI数据的多模态诊断模型，利用双金字塔结构提取特征并进行融合。
  3. 实验结果显示，该方法在OpenfMRI数据集上平衡准确率显著提升，表现优于现有方法。

📝 摘要（中文）

以往对双相障碍的诊断研究主要集中在静息态功能磁共振成像（fMRI）上，但其准确性未能满足临床需求。有效的多模态融合策略在多模态数据中具有巨大潜力，可以进一步提升医学诊断模型的性能。本文利用结构性磁共振成像（sMRI）和fMRI数据，提出了一种新颖的双相障碍多模态诊断模型。所提出的Patch Pyramid特征提取模块提取sMRI特征，而时空金字塔结构则提取fMRI特征。最终，通过融合模块将两者融合，输出诊断结果。大量实验表明，所提方法在OpenfMRI数据集上的平衡准确率从0.657提升至0.732，达到了当前的最优水平。

🔬 方法详解

问题定义：本文旨在解决双相障碍的诊断准确性不足的问题，现有方法主要依赖静息态fMRI，未能充分利用sMRI数据的潜力。

核心思路：提出了一种新颖的多模态融合模型，通过双金字塔结构分别提取sMRI和fMRI特征，利用融合模块整合信息以提高诊断准确性。

技术框架：整体架构包括Patch Pyramid特征提取模块用于sMRI特征提取，时空金字塔结构用于fMRI特征提取，最后通过融合模块将两者结合，输出分类结果。

关键创新：最重要的创新在于双金字塔特征提取模块的设计，使得sMRI和fMRI特征能够有效融合，显著提升了诊断性能。

关键设计：在模型设计中，采用了特定的损失函数以优化分类效果，并在网络结构中引入了多层次特征提取机制，以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提出的方法在OpenfMRI数据集上实现了平衡准确率从0.657提升至0.732，显著优于现有的诊断模型，达到了当前的最优水平。这一提升表明多模态融合在医学诊断中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括精神健康诊断、临床决策支持系统以及个性化医疗。通过提高双相障碍的诊断准确性，能够帮助医生更好地识别和治疗患者，改善患者的生活质量。未来，该方法也可扩展至其他精神疾病的诊断中，具有广泛的实际价值和影响。

📄 摘要（原文）

Previous research on the diagnosis of Bipolar disorder has mainly focused on resting-state functional magnetic resonance imaging. However, their accuracy can not meet the requirements of clinical diagnosis. Efficient multimodal fusion strategies have great potential for applications in multimodal data and can further improve the performance of medical diagnosis models. In this work, we utilize both sMRI and fMRI data and propose a novel multimodal diagnosis model for bipolar disorder. The proposed Patch Pyramid Feature Extraction Module extracts sMRI features, and the spatio-temporal pyramid structure extracts the fMRI features. Finally, they are fused by a fusion module to output diagnosis results with a classifier. Extensive experiments show that our proposed method outperforms others in balanced accuracy from 0.657 to 0.732 on the OpenfMRI dataset, and achieves the state of the art.