Parkinson's Disease Classification Using Contrastive Graph Cross-View Learning with Multimodal Fusion of SPECT Images and Clinical Features

📄 arXiv: 2311.14902v4 📥 PDF

作者: Jun-En Ding, Chien-Chin Hsu, Feng Liu

分类: cs.CV

发布日期: 2023-11-25 (更新: 2024-08-24)

💡 一句话要点

提出多模态融合方法以提高帕金森病分类精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 帕金森病 多模态融合 对比学习 图神经网络 临床特征 医学图像 特征提取

📋 核心要点

  1. 现有方法主要集中于医学图像的深度学习，忽视了数据的流形结构，导致分类效果受限。
  2. 本文提出了一种多模态融合的方法，结合图像和临床特征，通过对比交叉视图图融合进行PD分类。
  3. 实验结果显示，所提方法在五折交叉验证中取得91%的准确率和93%的AUC，显著优于传统机器学习方法。

📝 摘要（中文）

帕金森病（PD）影响全球数百万人，主要影响运动功能。以往研究多集中于医学图像的深度学习预测，忽视了数据的潜在流形结构。本文提出了一种多模态方法，结合图像和非图像特征，利用对比交叉视图图融合进行PD分类。我们引入了一种新颖的多模态共同注意模块，整合来自图像和临床特征的低维表示的独立图视图的嵌入。这种方法增强了特征提取的鲁棒性和结构性，提升了多视图数据分析的效果。此外，我们设计了一种简化的基于对比损失的融合方法，以增强交叉视图融合学习。我们的图视图多模态方法在五折交叉验证中达到了91%的准确率和93%的受试者工作特征曲线下面积（AUC），在非图像数据的预测能力上优于单纯基于机器学习的方法。

🔬 方法详解

问题定义：本文旨在解决帕金森病分类中的数据特征提取不足问题，现有方法多依赖于医学图像，未能充分利用临床特征和数据的流形结构。

核心思路：通过引入多模态共同注意模块，整合图像与临床特征的低维表示，增强特征提取的鲁棒性和结构性，从而提升分类性能。

技术框架：整体架构包括数据预处理、特征提取、对比交叉视图图融合和分类模块。特征提取阶段分别处理图像和临床数据，随后通过共同注意机制进行融合，最后进行分类。

关键创新：最重要的创新在于提出了多模态共同注意模块和简化的对比损失融合方法，这与传统单一模态方法形成了鲜明对比，能够更有效地捕捉多视图数据间的关联性。

关键设计：在参数设置上，采用了适应性学习率和正则化技术，损失函数使用了对比损失，网络结构则结合了卷积神经网络和图神经网络的优势，以实现更优的特征学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提图视图多模态方法在五折交叉验证中达到了91%的准确率和93%的AUC，相较于传统机器学习方法在非图像数据上的预测能力显著提升，展示了该方法在多模态数据分析中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在医疗影像分析和临床决策支持系统中。通过提高帕金森病的分类精度，可以帮助医生更早地诊断和干预，提高患者的生活质量。此外，该方法的多模态融合策略也可推广至其他疾病的预测与分类任务中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Parkinson's Disease (PD) affects millions globally, impacting movement. Prior research utilized deep learning for PD prediction, primarily focusing on medical images, neglecting the data's underlying manifold structure. This work proposes a multimodal approach encompassing both image and non-image features, leveraging contrastive cross-view graph fusion for PD classification. We introduce a novel multimodal co-attention module, integrating embeddings from separate graph views derived from low-dimensional representations of images and clinical features. This enables more robust and structured feature extraction for improved multi-view data analysis. Additionally, a simplified contrastive loss-based fusion method is devised to enhance cross-view fusion learning. Our graph-view multimodal approach achieves an accuracy of 0.91 and an area under the receiver operating characteristic curve (AUC) of 0.93 in five-fold cross-validation. It also demonstrates superior predictive capabilities on non-image data compared to solely machine learning-based methods.