Latent Prediction Yields Cross-Subject Alignable Representations in Sensory-Evoked fMRI
作者: Serwan Jassim, Victoria Bosch, Daniel Anthes, Elia Bruni, Tim Kietzmann
分类: cs.LG, cs.AI, q-bio.NC
发布日期: 2026-10-29
💡 一句话要点
提出自监督学习方法以实现跨参与者fMRI数据对齐
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自监督学习 功能性磁共振成像 跨参与者对齐 脑数据分析 神经解码 认知神经科学 图像重建 脑描述
📋 核心要点
- 现有方法在处理fMRI数据时，通常依赖于图像和语言数据，限制了跨参与者的泛化能力。
- 本文提出了一种自监督学习框架，通过仅使用脑数据训练编码器，避免了对刺激图像的依赖。
- 实验结果显示，该方法在脑描述和图像重建任务中表现出与监督学习方法相当的性能，并实现了参与者间的无监督对齐。
📝 摘要（中文）
解码感官诱发的功能性磁共振成像（fMRI）数据是认知神经科学中的重要分析工具。本文探讨自监督学习（SSL）在该领域的应用，提出了一种联合嵌入预测架构（JEPA），用于在仅使用脑数据的情况下训练参与者特定的编码器。通过在自然场景数据集（NSD）上进行实验，我们评估了所学的脑嵌入在脑描述和图像重建等下游任务中的表现。结果表明，该自监督方法在性能上与需要大量参数的监督学习方法相当。此外，独立训练的编码器可以完全无监督地对齐，且无需共享图像或刺激。对齐后，训练于一个参与者的神经解码头可以直接应用于另一个参与者，且在图像重建和脑描述任务中保持大部分性能。这一方法为跨参与者及跨数据集整合fMRI数据奠定了基础。
🔬 方法详解
问题定义：本文旨在解决在fMRI数据分析中，现有方法对刺激图像的依赖性及其对跨参与者泛化能力的限制。
核心思路：通过自监督学习框架（JEPA），仅使用脑数据训练参与者特定的编码器，从而实现对刺激图像的无需求。
技术框架：整体架构包括数据预处理、编码器训练、无监督对齐和下游任务评估四个主要模块。编码器通过预测脑活动模式来学习特征表示。
关键创新：最重要的创新在于实现了无监督的跨参与者对齐，使得不同参与者的编码器可以在没有共享刺激的情况下进行对齐，显著提升了数据整合能力。
关键设计：在训练过程中，采用了特定的损失函数来优化编码器的表现，并设计了适应性强的网络结构，以确保编码器能够有效捕捉脑活动的特征。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的自监督学习方法在脑描述和图像重建任务中与传统的监督学习方法相比，表现出相当的性能。具体而言，经过对齐的编码器在不同参与者间的应用中，保持了大部分的性能，显示出其在跨参与者泛化能力上的优势。
🎯 应用场景
该研究的潜在应用领域包括认知神经科学、心理学和医学影像分析。通过实现跨参与者的fMRI数据整合，未来可能推动对大规模脑数据集的分析和理解，促进个性化医疗和脑机接口技术的发展。
📄 摘要（原文）
Decoding sensory-evoked functional magnetic resonance imaging (fMRI) data is a central analytical tool in cognitive neuroscience. Here we ask whether self-supervised learning (SSL), which has been scarcely explored in this domain, can yield representations that support strong downstream performance. To do so, we adapt a joint embedding predictive architecture (JEPA) to train participant-specific encoders on brain data alone. The encoders never see the stimulus images or any representation derived from them. Applied to the Natural Scenes Dataset (NSD), we evaluate our learned brain embeddings on the downstream tasks of brain captioning and image reconstruction, as well as cross-participant generalization. Our self-supervised approach achieves competitive performance with parameter-rich supervised pipelines that are trained end-to-end with access to image and language data. We further find that encoders trained independently for different participants can be aligned fully unsupervised, using neither images nor stimuli shared between them. After alignment, a neural decoding head trained on one participant can be applied to another without fine-tuning and retains most of its within-subject performance on image reconstruction and brain captioning. By removing the need for images and shared stimuli, our approach is a step towards pooling fMRI data across participants and, eventually, across datasets.