Taming foundation model with invariance-oriented pre-training for broad-spectrum EEG analysis across signal-level, brain-state, and brain-health tasks

📄 arXiv: 2608.24597v1 📥 PDF

作者: Yulong Dou, Han Wu, Guo Chen, Fangmao Ju, Zhiming Cui, Dinggang Shen

分类: cs.LG, cs.AI

发布日期: 2026-08-25

💡 一句话要点

提出INCEPT模型以解决EEG分析中的可重用性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 基础模型 不变性学习 多任务学习 神经信息提取 临床应用 信号处理

📋 核心要点

  1. 现有EEG模型多依赖于单一数据集的监督学习，缺乏可重用性，限制了其在多任务中的应用。
  2. INCEPT模型通过不变性导向的预训练，学习跨EEG观测的稳定表示，分离出重要的个体信息与噪声。
  3. 在十个数据集的评估中，INCEPT在26个线性探测指标和24个微调指标上表现优异，超越了多种任务特定模型。

📝 摘要（中文）

脑电图（EEG）是研究人脑功能的重要工具，但现有的EEG模型多依赖于单一数据集的监督学习，限制了其可重用性。近期的EEG基础模型虽然提供了可重用的表示，但大多集中于重建任务，假设局部上下文可预测的EEG内容必然是可转移的神经信息。本文提出了INCEPT，一个以不变性为导向的EEG基础模型，基于超过11,000小时的无标签临床EEG进行训练。INCEPT不仅关注信号恢复，还学习跨相关EEG观测的表示级稳定性，从而分离出稳定的神经结构和重要的个体敏感信息，保留了个体、状态和条件的判别信息。我们在十个数据集的广泛基准上评估INCEPT，结果显示其在30个线性探测指标中排名第一，并在多种下游任务中超越了强大的任务特定编码器。

🔬 方法详解

问题定义：现有EEG模型通常依赖于单一数据集的监督学习，导致模型的可重用性差，难以适应不同的任务和数据集。大多数模型集中于信号重建，未能有效提取可转移的神经信息。

核心思路：INCEPT模型通过不变性导向的预训练，旨在学习跨不同EEG观测的稳定表示，分离出稳定的神经结构与个体敏感信息，从而提升模型的可重用性和适应性。

技术框架：INCEPT的整体架构包括数据预处理、特征提取和表示学习三个主要模块。模型首先对无标签EEG数据进行处理，然后通过不变性学习算法提取特征，最后生成可用于多任务的稳定表示。

关键创新：INCEPT的主要创新在于不变性导向的预训练策略，它不仅关注信号的重建，还强调表示的稳定性，从而有效提高了模型在不同任务中的迁移能力。

关键设计：模型采用了特定的损失函数来优化表示的稳定性，并设计了适应性强的网络结构，以便在多种EEG分析任务中保持高效性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在评估中，INCEPT在30个线性探测指标中排名第一，且在24个微调指标上超越了多种强大的任务特定编码器，显示出显著的性能提升，验证了不变性学习在EEG模型中的有效性。

🎯 应用场景

INCEPT模型在EEG分析中的潜在应用广泛，包括脑状态解码、脑健康评估等领域。其可重用性和高效性使得该模型能够在临床和研究中提供更为精准的脑功能分析，未来可能推动个性化医疗和神经科学研究的发展。

📄 摘要（原文）

Electroencephalography (EEG) is a widely used window into human brain function, but most EEG models remain tied to a one-dataset-one-model supervised paradigm. Recent EEG foundation models offer a route toward reusable representations, but most remain reconstruction-centered, assuming that EEG content predictable from local context is necessarily transferable neural information. Here we present INCEPT, an invariance-oriented EEG foundation model trained on over 11,000 hours of unlabelled clinical EEG. Rather than prioritizing signal recovery alone, INCEPT learns representation-level stability across correlated EEG observations, separating stable neural structure and essential subject-sensitive information from the nuisance variability that dominates scalp recordings while preserving subject-, state- and condition-discriminative information. We evaluate INCEPT on a broad-spectrum benchmark of ten datasets spanning three levels of post-acquisition EEG analysis: signal-level assessment, brain-state decoding, and brain-health evaluation. INCEPT ranks first among recent EEG foundation models on 26 of 30 linear-probing metrics and 24 of 30 fine-tuning metrics, and also surpasses strong task-specific specialist encoders across diverse downstream settings. Objective ablations and representation analyses further show that invariance-oriented pre-training improves transfer and organizes subject-sensitive neural representations beyond reconstruction alone. These results establish invariance learning as a promising principle for building reusable EEG foundation models.