Temporal Feature Extractors in EEG Foundation Models: A Controlled Comparison Including a Pretrained Time-Series Model

📄 arXiv: 2606.30104v1 📥 PDF

作者: Ayşe Betül Yüce, Chris Joey Leffler, Sarun Varghese, Myra Spiliopoulou, Sebastian Stober

分类: cs.AI

发布日期: 2026-06-29

💡 一句话要点

比较三种时序特征提取方法在EEG基础模型中的效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 时序特征提取 预训练模型 运动想象 情感识别 深度学习 特征转移

📋 核心要点

  1. 现有EEG基础模型对时序特征提取器的作用及其转移能力研究不足，影响了模型的表示质量。
  2. 本文提出对三种时序特征提取策略进行比较，探索其在EEG基础模型中的有效性，旨在提升模型性能。
  3. 实验结果表明，简单的时序表示在运动想象任务中表现良好，而情感识别任务则需要更复杂的时序建模。

📝 摘要（中文）

脑电图（EEG）基础模型旨在从大规模脑电记录中学习可泛化的表示。然而，时序特征提取器的作用以及预训练的时间序列基础模型（TSFM）在此环境中的有效转移仍未得到充分探索。本文对三种时序特征提取策略进行了受控比较，包括线性基线、卷积编码器和冻结的预训练TSFM（MOMENT），并在统一的EEG基础模型中评估其对表示质量的影响。结果显示，在运动想象数据集上，简单的时序表示表现出竞争力，而情感数据集则受益于更丰富的时序建模。尽管未专门针对EEG进行适配，预训练的TSFM作为有效的时序特征提取器，表明通用时间序列表示可以作为冻结的时序特征提取器转移到EEG基础模型中。

🔬 方法详解

问题定义：本文旨在解决EEG基础模型中时序特征提取器的有效性及其与预训练时间序列模型的转移能力问题。现有方法在特征提取上存在局限，未能充分利用预训练模型的优势。

核心思路：通过对比线性基线、卷积编码器和冻结的预训练TSFM，探索不同特征提取策略对EEG表示质量的影响，旨在找到最优的特征提取方式。

技术框架：研究采用统一的EEG基础模型架构，包含三个主要模块：特征提取器（线性、卷积、TSFM）、表示学习模块和下游任务评估模块。

关键创新：最重要的创新在于将预训练的TSFM作为冻结特征提取器应用于EEG模型，展示了通用时间序列表示在特定任务中的有效性，与传统方法相比，提供了新的思路。

关键设计：在特征提取过程中，采用不同的网络结构和参数设置，损失函数选择适应性强的交叉熵损失，以确保模型在下游任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在运动想象任务中，简单的时序表示与复杂模型表现相当，而在情感识别任务中，预训练的TSFM显著提升了模型的表现，表明其在EEG应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、情感计算和神经康复等。通过提升EEG基础模型的表示能力，可以更好地理解和解读脑电信号，为相关领域的实际应用提供支持，推动智能医疗和人机交互的发展。

📄 摘要（原文）

Electroencephalography (EEG) foundation models aim to learn generalizable representations from large-scale brain recordings. However, the role of temporal feature extractors and whether pretrained time-series foundation models (TSFMs) can be effectively transferred to this setting remains underexplored. We conduct a controlled comparison of three temporal feature extraction strategies, including a linear baseline, a convolutional encoder, and a frozen pretrained TSFM (MOMENT), within a unified EEG foundation model. We evaluate their impact on representation quality using two downstream tasks: motor imagery and emotion recognition. Results reveal different trends across the evaluated benchmarks. On the motor imagery dataset, simple temporal representations perform competitively, whereas the emotion dataset benefits from richer temporal modeling. Although not specifically adapted to EEG, the pretrained TSFM serves as an effective temporal feature extractor, suggesting that general-purpose time-series representations can be transferred as frozen temporal feature extractors within EEG foundation models.