LaBraM at Scale: Scaling Data and Models for EEG Pretraining

📄 arXiv: 2611.03165v1 📥 PDF

作者: Jun-Yu Pan, Ruicheng Yin, Bao-Liang Lu, Dongsheng Li, Wei-Long Zheng, Yansen Wang

分类: cs.LG, cs.AI

发布日期: 2026-11-02

💡 一句话要点

扩展LaBraM以提升EEG预训练模型的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG预训练 深度学习 模型扩展 信号处理 多任务学习

📋 核心要点

  1. 现有EEG模型在多样化任务中的表现受限，尤其是在数据和模型规模方面。
  2. 本文提出通过扩展预训练数据和模型容量，保留核心编码器，来提升EEG模型的表现。
  3. 实验结果表明，Atom-L*在23个任务中表现优异，平均准确率显著高于现有基线模型。

📝 摘要（中文）

LaBraM是一个早期的EEG基础模型，展示了大规模EEG预训练在多样化下游任务中能够产生强大的表示能力。在此基础上，本文扩展了预训练数据和模型容量，同时保留其核心编码器和目标。我们训练了十个编码器，参数量从580万到19.7亿不等，使用了三个EEG数据集，时长从25067小时到79910小时，适应了异构记录的信号准备和训练。在23个任务中，Atom-L*在最佳评估的全微调检查点达到了59.05%的平均平衡准确率，比最强基线EEG基础模型高出3.61个百分点。Quark-G在线性探测中领先，达54.33%，领先幅度为1.24个百分点。这些结果展示了扩展LaBraM的价值，以及将预训练规模与下游适应相匹配的重要性。

🔬 方法详解

问题定义：本文旨在解决现有EEG模型在多样化任务中的表现不足，尤其是数据和模型规模的限制。现有方法在处理异构EEG记录时面临挑战，导致模型的泛化能力不足。

核心思路：通过扩展预训练数据集和模型容量，保留LaBraM的核心编码器和目标，来提升EEG模型的表示能力和下游任务的性能。

技术框架：整体架构包括数据准备、模型训练和评估三个主要阶段。数据准备阶段涉及对不同EEG数据集的信号处理，模型训练阶段则使用不同参数规模的编码器进行训练，最后在多个下游任务上进行评估。

关键创新：最重要的技术创新在于通过大规模的预训练数据和多样化的模型参数设置，显著提升了EEG模型的性能。这种方法与现有的单一模型或小规模数据预训练方法有本质区别。

关键设计：在模型设计上，采用了多种参数设置，损失函数和网络结构经过精心调整，以适应不同的EEG信号特征。同时，保持了补丁结构以改善线性探测性能。

📊 实验亮点

实验结果显示，Atom-L*在23个任务中达到了59.05%的平均平衡准确率，超越了最强基线模型3.61个百分点。Quark-G在线性探测中表现优异，达54.33%，领先幅度为1.24个百分点，展示了模型扩展的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、脑机接口和神经科学研究等。通过提升EEG模型的表现，可以更好地理解脑电活动，进而推动相关技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

LaBraM, an early EEG foundation model, demonstrated that large-scale EEG pretraining can yield strong representations for diverse downstream tasks. Building on this foundation, we expand pretraining data and model capacity while retaining its core encoder and objective. We train ten encoders with 5.8 million to 1.97 billion parameters on three EEG collections spanning 25,067 to 79,910 hours, adapting signal preparation and training to heterogeneous recordings. Across 23 tasks, Atom-L* reaches 59.05% mean balanced accuracy at its best evaluated full fine-tuning (Full-FT) checkpoint, 3.61 percentage points above the strongest baseline EEG foundation model. Quark-G leads linear probing (LP) at 54.33%, a 1.24-point margin. Both also lead average task rank. At the last evaluated checkpoints, larger encoders improve Full-FT more consistently than LP, and stronger LP does not guarantee stronger Full-FT. Preserving patch structure improves LP over average pooling. Data-fraction experiments suggest capacity-dependent saturation, while checkpoint trajectories show that downstream performance can decline as pretraining loss falls. Joint classification with a shared Qwen3 readout reaches 50.50% with Molecule-H and Qwen3-8B; increasing language-model size provides no consistent gain. These results demonstrate the value of scaling LaBraM and the importance of matching pretraining scale to downstream adaptation.