Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain

📄 arXiv: 2403.06432v2 📥 PDF

作者: Jungwon Choi, Hyungi Lee, Byung-Hoon Kim, Juho Lee

分类: cs.LG, q-bio.NC

发布日期: 2024-03-11 (更新: 2025-05-05)

备注: Under review

💡 一句话要点

提出ST-JEMA以解决动态功能连接性学习中的标签稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态功能连接性 自监督学习 图神经网络 掩蔽自编码器 fMRI数据 时空信息 表示学习 精神疾病诊断

📋 核心要点

  1. 现有方法在动态功能连接性学习中依赖大量标注数据，获取过程资源密集，限制了其实际应用。
  2. 本文提出的ST-JEMA通过重建动态图，利用未标注数据进行自监督学习，从而学习高层次的语义表示。
  3. ST-JEMA在八个基准fMRI数据集上表现优越，能够在样本稀缺的情况下有效预测表型和精神疾病诊断。

📝 摘要（中文）

图神经网络（GNNs）在学习动态功能连接性以区分人脑网络表型方面展现出潜力。然而，获取大量标注临床数据的过程通常资源密集，限制了实际应用。利用未标注数据对于标签稀缺环境下的表示学习至关重要。尽管生成性自监督学习技术，尤其是掩蔽自编码器，在多个领域的表示学习中取得了良好效果，但其在动态图中的应用仍未得到充分探索。本文提出了时空联合嵌入掩蔽自编码器（ST-JEMA），借鉴了计算机视觉中的联合嵌入预测架构（JEPA）。ST-JEMA通过重建动态图来学习更高层次的语义表示，解决了fMRI数据表示学习中的挑战。利用大规模的UK Biobank数据集进行自监督学习，ST-JEMA在动态功能连接性表示学习上表现出色，优于以往方法，能够在样本有限的情况下有效预测表型和精神疾病诊断。

🔬 方法详解

问题定义：本论文旨在解决动态功能连接性学习中对大量标注数据的依赖问题。现有方法在处理fMRI数据时面临高层次语义表示捕捉的挑战，且未标注数据的利用尚未得到充分探索。

核心思路：论文提出的ST-JEMA通过借鉴JEPA的策略，重建动态图以学习更高层次的语义表示。该方法关注时间维度，旨在提升对动态功能连接性的理解。

技术框架：ST-JEMA的整体架构包括数据预处理、动态图重建和自监督学习三个主要模块。首先，进行fMRI数据的预处理，然后通过掩蔽自编码器重建动态图，最后进行自监督学习以优化表示。

关键创新：ST-JEMA的核心创新在于结合了时空信息进行动态图的重建，克服了传统方法在捕捉高层次语义表示时的不足。这一设计使得模型在处理动态功能连接性时更具灵活性和准确性。

关键设计：在模型设计中，ST-JEMA采用了特定的损失函数以优化重建效果，并在网络结构上引入了时序卷积层，以增强对时间序列数据的建模能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ST-JEMA在八个基准fMRI数据集上表现出色，优于以往方法，能够在样本有限的情况下有效预测表型和精神疾病诊断，展示了在动态功能连接性表示学习中的显著提升，尤其是在缺失数据场景下的时间重建效果。

🎯 应用场景

该研究的潜在应用领域包括神经科学、精神病学和临床诊断等。通过有效利用未标注的fMRI数据，ST-JEMA能够帮助研究人员更好地理解人脑的动态功能连接性，推动精神疾病的早期诊断和个性化治疗的发展。

📄 摘要（原文）

Graph Neural Networks (GNNs) have shown promise in learning dynamic functional connectivity for distinguishing phenotypes from human brain networks. However, obtaining extensive labeled clinical data for training is often resource-intensive, making practical application difficult. Leveraging unlabeled data thus becomes crucial for representation learning in a label-scarce setting. Although generative self-supervised learning techniques, especially masked autoencoders, have shown promising results in representation learning in various domains, their application to dynamic graphs for dynamic functional connectivity remains underexplored, facing challenges in capturing high-level semantic representations. Here, we introduce the Spatio-Temporal Joint Embedding Masked Autoencoder (ST-JEMA), drawing inspiration from the Joint Embedding Predictive Architecture (JEPA) in computer vision. ST-JEMA employs a JEPA-inspired strategy for reconstructing dynamic graphs, which enables the learning of higher-level semantic representations considering temporal perspectives, addressing the challenges in fMRI data representation learning. Utilizing the large-scale UK Biobank dataset for self-supervised learning, ST-JEMA shows exceptional representation learning performance on dynamic functional connectivity demonstrating superiority over previous methods in predicting phenotypes and psychiatric diagnoses across eight benchmark fMRI datasets even with limited samples and effectiveness of temporal reconstruction on missing data scenarios. These findings highlight the potential of our approach as a robust representation learning method for leveraging label-scarce fMRI data.