Contrastive Learning of Shared Spatiotemporal EEG Representations Across Individuals for Naturalistic Neuroscience

📄 arXiv: 2402.14213v2 📥 PDF

作者: Xinke Shen, Lingyi Tao, Xuyang Chen, Sen Song, Quanying Liu, Dan Zhang

分类: q-bio.NC, cs.LG, eess.SP

发布日期: 2024-02-22 (更新: 2024-07-14)

备注: 54 pages, 17 figures

💡 一句话要点

提出CL-SSTER框架以解决自然刺激下EEG共享表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: EEG分析 对比学习 时空表示 跨个体神经模式 自然刺激 神经科学 深度学习

📋 核心要点

  1. 现有方法在识别自然刺激下跨个体共享神经模式时面临挑战，难以准确提取一致的EEG表示。
  2. 论文提出的CL-SSTER框架利用对比学习最大化相同刺激下的EEG表示相似性，有效解决了这一问题。
  3. CL-SSTER在三个不同EEG数据集上表现出最高的跨个体相关性，相较于现有方法有显著提升。

📝 摘要（中文）

本研究针对自然刺激下的神经表示，提出了一种共享时空EEG表示的对比学习框架CL-SSTER。该框架旨在识别和提取跨个体一致的神经模式，利用EEG技术的丰富时空信息，通过最大化相同刺激下个体间EEG表示的相似性，来对比不同刺激下的表示。CL-SSTER在三个EEG数据集上进行了验证，表现出优越的跨个体相关性，生成的潜在表示可靠地反映了自然刺激的时空模式，具有良好的可解释性和可扩展性。

🔬 方法详解

问题定义：本研究旨在解决如何在自然刺激下准确识别和提取跨个体共享的EEG神经表示。现有方法在这一领域的表现不足，无法有效捕捉一致的神经模式。

核心思路：CL-SSTER框架通过对比学习的方式，最大化相同刺激下不同个体的EEG表示相似性，同时对比不同刺激下的表示，从而提取共享的时空特征。这样的设计使得模型能够更好地捕捉跨个体的一致性。

技术框架：CL-SSTER的整体架构包括数据预处理、时空卷积网络和对比学习模块。首先对EEG数据进行预处理，然后通过时空卷积网络提取时空特征，最后利用对比学习优化模型。

关键创新：CL-SSTER的核心创新在于其对比学习机制，能够有效提升跨个体EEG表示的相似性，显著提高了跨个体相关性（ISC）值，与现有方法相比具有本质区别。

关键设计：在模型设计中，采用了时空卷积网络结构，损失函数则基于对比学习的原则，确保相同刺激下的表示尽可能接近，而不同刺激下的表示则尽量远离。

📊 实验亮点

CL-SSTER在三个EEG数据集上取得了最高的跨个体相关性（ISC）值，相较于现有最先进的ISC方法，表现出显著的提升。这表明CL-SSTER能够有效捕捉自然刺激下的共享神经模式，具有良好的实用性和可解释性。

🎯 应用场景

该研究的潜在应用领域包括神经科学研究、脑机接口和心理健康监测等。通过识别跨个体共享的EEG表示，CL-SSTER可以帮助研究人员更好地理解人类对自然刺激的反应机制，推动个性化医疗和智能交互系统的发展。

📄 摘要（原文）

Neural representations induced by naturalistic stimuli offer insights into how humans respond to stimuli in daily life. Understanding neural mechanisms underlying naturalistic stimuli processing hinges on the precise identification and extraction of the shared neural patterns that are consistently present across individuals. Targeting the Electroencephalogram (EEG) technique, known for its rich spatial and temporal information, this study presents a framework for Contrastive Learning of Shared SpatioTemporal EEG Representations across individuals (CL-SSTER). CL-SSTER utilizes contrastive learning to maximize the similarity of EEG representations across individuals for identical stimuli, contrasting with those for varied stimuli. The network employed spatial and temporal convolutions to simultaneously learn the spatial and temporal patterns inherent in EEG. The versatility of CL-SSTER was demonstrated on three EEG datasets, including a synthetic dataset, a natural speech comprehension EEG dataset, and an emotional video watching EEG dataset. CL-SSTER attained the highest inter-subject correlation (ISC) values compared to the state-of-the-art ISC methods. The latent representations generated by CL-SSTER exhibited reliable spatiotemporal EEG patterns, which can be explained by properties of the naturalistic stimuli. CL-SSTER serves as an interpretable and scalable framework for the identification of inter-subject shared neural representations in naturalistic neuroscience.