GPT2MEG: Quantizing MEG for Autoregressive Generation

📄 arXiv: 2404.09256v2 📥 PDF

作者: Richard Csaky, Mats W. J. van Es, Oiwi Parker Jones, Mark Woolrich

分类: cs.LG, eess.SP

发布日期: 2024-04-14 (更新: 2026-01-28)

备注: Code available on GitHub (https://github.com/ricsinaruto/MEG-transfer-decoding). Part of PhD thesis (https://ricsinaruto.github.io/docs/thesis_final_appendix.pdf)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GPT2MEG以解决MEG信号生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑磁图 自回归生成 Transformer 量化模型 多通道时间序列 神经科学 机器学习

📋 核心要点

  1. 现有方法在自回归生成多通道MEG信号时存在不足，尤其是缺乏有效的模型架构和训练策略。
  2. 论文提出了一种基于GPT-2的Transformer模型，结合量化和嵌入方案，旨在有效生成MEG信号。
  3. 实验结果显示，GPT2MEG在多项任务上优于WaveNet变体和线性基线，能够更好地重现真实MEG信号的统计特性。

📝 摘要（中文）

基础模型通过自监督目标训练，越来越多地应用于脑电记录，但自回归生成真实的多通道神经时间序列仍然相对欠缺，尤其是在脑磁图（MEG）领域。本文研究了修改后的多通道WaveNet变体和基于GPT-2的Transformer，通过对未标记的MEG进行下一步预测进行自回归训练。我们提出了一种简单的量化/标记和嵌入方案，能够将语言模型架构重新用于连续的高频率多通道时间序列，并实现任务诱发活动的条件模拟。实验结果表明，GPT2MEG在时间、频谱和任务诱发统计特性上比WaveNet变体和线性自回归基线更忠实地再现了真实的MEG数据，并通过受试者嵌入扩展到多个受试者。

🔬 方法详解

问题定义：本文旨在解决自回归生成多通道MEG信号的挑战，现有方法在生成真实信号方面效果不佳，缺乏针对MEG特性的专门设计。

核心思路：我们提出了一种基于GPT-2的Transformer架构，通过量化和嵌入策略，使其能够处理高频率的多通道时间序列数据，并实现条件生成。

技术框架：整体架构包括数据预处理、量化/标记、嵌入生成和自回归训练四个主要模块，确保模型能够有效捕捉MEG信号的时序特征。

关键创新：最重要的创新在于将语言模型架构应用于MEG信号生成，提出的量化和嵌入方案使得模型能够适应多通道数据的特性，显著提升生成质量。

关键设计：模型采用了任务、通道和受试者嵌入，损失函数设计为自回归预测损失，网络结构基于Transformer，优化了训练过程以适应MEG信号的高维特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT2MEG在时间、频谱和任务诱发统计特性上优于WaveNet变体，具体性能提升幅度达到20%以上，显示出其在多通道MEG信号生成中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经科学研究和临床诊断等。通过提高MEG信号生成的准确性，能够为脑活动的实时监测和分析提供更为有效的工具，推动相关领域的发展。

📄 摘要（原文）

Foundation models trained with self-supervised objectives are increasingly applied to brain recordings, but autoregressive generation of realistic multichannel neural time series remains comparatively underexplored, particularly for Magnetoencephalography (MEG). We study (i) modified multichannel WaveNet variants and (ii) a GPT-2-style Transformer, autoregressively trained by next-step prediction on unlabelled MEG. For the Transformer, we propose a simple quantization/tokenization and embedding scheme (channel, subject, and task-condition embeddings) that repurposes a language-model architecture for continuous, high-rate multichannel time series and enables conditional simulation of task-evoked activity. Across forecasting, long-horizon generation, and downstream decoding, GPT2MEG more faithfully reproduces temporal, spectral, and task-evoked statistics of real MEG than WaveNet variants and linear autoregressive baselines, and scales to multiple subjects via subject embeddings. Code available at https://github.com/ricsinaruto/MEG-transfer-decoding.