Understanding and Correcting Low-Frequency Bias in EEG Foundation Model

📄 arXiv: 2608.01898v1 📥 PDF

作者: Junjie Yu, Zihan Deng, Jianyu Zhang, Junrong Mu, Jiahui An, Wenxiao Ma, Ziling Lu, Yue Wang, Yan Zhu, Kexin Lou, Quanying Liu

分类: cs.LG

发布日期: 2026-08-03

💡 一句话要点

提出FAME框架以解决EEG基础模型中的低频偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG基础模型 低频偏差 频率平衡 掩码自编码 谱平衡监督 脑电信号分析 深度学习

📋 核心要点

  1. 现有的EEG基础模型在处理低频偏差时存在不足，导致下游任务性能不稳定。
  2. 论文提出的FAME框架通过频率平衡的掩码自编码方法，旨在解决低频成分对重建损失的过度影响。
  3. 在41个下游任务的评估中，FAME在24个任务上实现了最先进的性能，显示出谱平衡监督的重要性。

📝 摘要（中文）

随着EEG预训练数据规模或模型容量的增加，下游性能并未得到一致提升。我们识别出多种EEG基础模型中存在的持续低频偏差，这种偏差在不同数据集规模、模型容量和预训练目标下依然存在。我们的分析将这一偏差与EEG的$1/f^α$型谱结构与神经网络倾向于优先学习低频成分的特性联系起来。为了解决这一问题，我们提出了FAME，一个频率平衡的掩码自编码框架，该框架从掩码EEG输入中重建预定义EEG频段的时频活动。FAME在每个频段内独立标准化重建目标，并对所有频段特定损失赋予相等权重，从而平衡了EEG谱的监督。经过在OmniEEG-Bench上41个下游任务的评估，FAME学习到了更为谱平衡的表示，并在其中24个任务上达到了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决EEG基础模型中存在的低频偏差问题。现有方法在不同数据集和模型容量下，低频成分对重建损失的影响过大，导致模型性能不稳定。

核心思路：FAME框架通过独立标准化每个EEG频段的重建目标，并对所有频段特定损失赋予相等权重，从而实现频率平衡的监督。这种设计旨在减少低频成分对模型学习的偏差影响。

技术框架：FAME框架包含多个模块，首先对掩码EEG输入进行处理，然后在每个频段内标准化重建目标，最后通过平衡损失函数进行训练。整体流程确保了各频段的均衡学习。

关键创新：FAME的核心创新在于其频率平衡的损失设计，与传统方法相比，FAME有效地减轻了低频成分对模型学习的偏差影响，从而提升了模型的泛化能力。

关键设计：FAME采用了$ ext{l}_2$重建目标，并在每个频段内独立标准化重建目标，确保各频段损失的均衡。此外，FAME在训练过程中对不同频段的损失赋予相同权重，以实现更好的谱平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FAME在41个下游任务中表现出色，特别是在24个任务上达到了最先进的性能，显示出其在学习谱平衡表示方面的有效性。这一成果强调了在EEG模型训练中引入平衡谱监督的重要性，推动了EEG领域的研究进展。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经科学研究以及临床EEG分析等。通过提升EEG模型的性能，FAME框架能够为相关领域提供更可靠的工具，促进脑电信号的理解与应用，未来可能对医疗和人机交互等领域产生深远影响。

📄 摘要（原文）

Increasing EEG pretraining data scale or model capacity does not consistently improve downstream performance. We identify a persistent low-frequency bias in representations learned by diverse EEG foundation models, which remains across dataset scales, model capacities, and pretraining objectives. Our analysis links this bias to the interaction between EEG's $1/f^α$-like spectral structure and neural networks' tendency to preferentially learn low-frequency components. In masked autoencoders, the $\ell_2$ reconstruction objective further amplifies this imbalance: under comparable relative reconstruction errors, high-power low-frequency components contribute disproportionately to the loss. To address this issue, we introduce FAME, a frequency-balanced masked autoencoding framework that reconstructs time--frequency activity in predefined EEG bands from masked EEG inputs. FAME independently standardizes the reconstruction targets within each band and assigns equal weight to all band-specific losses, thereby balancing supervision across the EEG spectrum. Evaluated on 41 downstream tasks in OmniEEG-Bench, FAME learns more spectrally balanced representations and achieves state-of-the-art performance on 24 of them. These results underscore the importance of balanced spectral supervision for learning transferable EEG representations.