S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

📄 arXiv: 2607.27913v1 📥 PDF

作者: Glenn Anta Bucagu, Thorir Mar Ingolfsson, Yawei Li, Luca Benini

分类: cs.LG

发布日期: 2026-07-30

备注: This is the pre-rebuttal version of a paper accepted at MICCAI 2026. The camera-ready version will be posted following the embargo

💡 一句话要点

提出S-CEReBrO以解决连续EEG监测中的内存瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 Transformer 窗口交替注意力 内存优化 实时监测 深度学习

📋 核心要点

  1. 现有的Transformer架构在处理连续EEG信号时，因全局注意力机制导致内存溢出，限制了其应用。
  2. 提出的S-CEReBrO通过窗口交替注意力机制，将注意力计算分解为固定大小的时空窗口，从而解决内存瓶颈问题。
  3. 实验结果表明，S-CEReBrO在多个下游任务中表现优异，内存需求显著降低，同时推理速度提升2.1倍。

📝 摘要（中文）

基础模型为脑电图（EEG）分析提供了一种有前景的范式，利用来自大量未标记数据集的可泛化表示。然而，基于Transformer的架构面临一个关键瓶颈：全局注意力机制将注意力内存状态与信号持续时间耦合，导致在连续监测过程中内存溢出。为了解决这一问题，我们提出了S-CEReBrO（Streaming CEReBrO），这是CEReBrO架构的演变，旨在实现连续监测。我们的新颖窗口交替注意力机制将注意力计算分解为固定大小的时空窗口，确保KV缓存内存恒定，因为只有活动窗口需要驻留的注意力图。实证缩放分析确认，窗口交替注意力可以处理比全自注意力长100倍的信号，并且比低秩线性注意力长3倍。与低秩线性注意力相比，窗口交替注意力在长上下文中需要55%的内存，同时推理吞吐量提高了2.1倍。经过超过25,000小时、来自12,000多名受试者的录音预训练，S-CEReBrO在11个下游任务中的7个上实现了最先进的性能，参数减少了60%。这项工作代表了实现高效、可泛化和连续EEG监测的重要一步。

🔬 方法详解

问题定义：论文要解决的问题是现有Transformer架构在连续EEG监测中因全局注意力机制导致的内存溢出问题。这种耦合使得信号持续时间与内存需求直接相关，限制了长时间信号的处理能力。

核心思路：论文提出的核心解决思路是窗口交替注意力机制，该机制将注意力计算分解为固定大小的时空窗口。通过仅对活动窗口进行注意力计算，保证了KV缓存内存的恒定，从而避免了内存溢出。

技术框架：S-CEReBrO的整体架构包括输入信号的分割、窗口交替注意力计算和输出结果的整合。主要模块包括时空窗口的定义、注意力图的计算和结果的合成。

关键创新：最重要的技术创新点在于窗口交替注意力机制的引入，这一机制与传统的全自注意力机制相比，显著降低了内存需求并提高了处理长信号的能力。

关键设计：在设计中，窗口的大小和交替策略是关键参数，注意力图的计算采用了固定大小的时空窗口，确保了内存的高效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，S-CEReBrO在处理长达100倍于全自注意力的信号时，内存需求仅为55%，推理吞吐量提升了2.1倍。此外，模型在7个下游任务中表现出色，参数数量减少了60%。

🎯 应用场景

该研究的潜在应用领域包括医疗监测、脑机接口和神经科学研究等。通过实现高效的连续EEG监测，S-CEReBrO能够在实时监测和分析中发挥重要作用，推动相关领域的发展与应用。

📄 摘要（原文）

Foundation models offer a promising paradigm for Electroencephalography (EEG) analysis, leveraging generalizable representations from vast unlabeled datasets. Yet, Transformer-based architectures face a critical bottleneck: global attention mechanisms couple the attention memory state to the signal duration, causing memory overflow during continuous monitoring. To address this, we introduce S-CEReBrO (Streaming CEReBrO), an evolution of the CEReBrO architecture designed for continuous monitoring. Our novel Windowed Alternating Attention mechanism factorizes attention computation into fixed-size spatiotemporal windows, guaranteeing constant KV cache memory as only the active window requires resident attention maps. Empirical scaling analysis confirms that windowed alternating attention can process signals 100X longer than full self-attention and 3X longer than low-rank linear attention. Compared to low-rank linear attention on long contexts, windowed alternating attention requires 55% of the memory while increasing inference throughput by 2.1X. Pre-trained on >25,000 hours of recordings from >12,000 subjects, S-CEReBrO achieves state-of-the-art performance on 7 of 11 downstream tasks, with up to 60% fewer parameters. This work represents a significant step toward the realization of efficient, generalizable, and continuous EEG monitoring. An accompanying code repository is available.