Deep Representation Learning for Open Vocabulary Electroencephalography-to-Text Decoding

📄 arXiv: 2312.09430v1 📥 PDF

作者: Hamza Amrani, Daniela Micucci, Paolo Napoletano

分类: eess.SP, cs.CL, cs.HC, cs.LG

发布日期: 2023-11-15

备注: 12 pages, 5 figures, preprint

DOI: 10.1109/JBHI.2024.3416066

💡 一句话要点

提出深度学习框架以解决开放词汇EEG解码问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 脑电图解码 深度学习 语言模型 脑机接口 EEG信号 自然语言处理 表征学习

📋 核心要点

  1. 现有方法未能有效探讨EEG信号在语言模型中的嵌入及主观性影响，导致解码性能提升不明确。
  2. 本文提出一种端到端深度学习框架，结合EEG编码、BART语言模型和GPT-4优化模块，提升解码效果。
  3. 在ZuCo v1.0和v2.0数据集上，模型的BLEU-1、ROUGE-1-F和BERTScore-F均超越了现有最优方法，显示出显著提升。

📝 摘要（中文）

以往研究表明，预训练语言模型在通过非侵入性脑机接口解码开放词汇脑电图（EEG）信号方面具有潜力。然而，EEG信号在语言模型中的嵌入效果及主观性影响尚未探讨，导致解码性能提升方法不明确。此外，现有评估指标主要关注句法，未能反映解码输出的人类理解度。本文提出了一种端到端深度学习框架，结合现代表征学习方法，针对非侵入性脑记录进行EEG解码。我们的创新包括：1）一种开放词汇EEG解码的深度学习架构，包含主观依赖的EEG编码模块、BART语言模型和GPT-4句子优化模块；2）基于BERTScore的更全面的句子级评估指标；3）通过消融研究分析各模块的贡献，为未来研究提供有价值的见解。我们在两个公开数据集ZuCo v1.0和v2.0上评估了该方法，模型在BLEU-1、ROUGE-1-F和BERTScore-F上均超越了现有最优方法。

🔬 方法详解

问题定义：本文旨在解决开放词汇EEG解码中的信号嵌入和主观性影响问题。现有方法主要依赖于句法评估，未能有效反映解码结果的可理解性。

核心思路：提出一种端到端的深度学习架构，结合EEG信号的主观依赖编码、BART语言模型和GPT-4句子优化，以提升解码性能和可理解性。

技术框架：整体架构包括三个主要模块：1）主观依赖的EEG编码模块，用于处理原始EEG信号；2）BART语言模型，负责生成初步文本；3）GPT-4模块，进一步优化生成的句子。

关键创新：引入了主观依赖的EEG编码和基于BERTScore的句子级评估指标，提供了更全面的解码效果评估，与传统方法相比，能够更好地反映人类理解度。

关键设计：模型采用了特定的损失函数以优化生成文本的质量，并在网络结构上结合了多层次的特征提取，以增强EEG信号的表征能力。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在BLEU-1、ROUGE-1-F和BERTScore-F上分别达到了42.75%、33.28%和53.86%的成绩，较现有最优方法分别提升了3.38%、8.43%和6.31%，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经科学研究和人机交互等。通过提升EEG信号的解码能力，能够为残疾人士提供更有效的沟通工具，同时也为神经科学的基础研究提供新的视角，推动相关技术的发展。

📄 摘要（原文）

Previous research has demonstrated the potential of using pre-trained language models for decoding open vocabulary Electroencephalography (EEG) signals captured through a non-invasive Brain-Computer Interface (BCI). However, the impact of embedding EEG signals in the context of language models and the effect of subjectivity, remain unexplored, leading to uncertainty about the best approach to enhance decoding performance. Additionally, current evaluation metrics used to assess decoding effectiveness are predominantly syntactic and do not provide insights into the comprehensibility of the decoded output for human understanding. We present an end-to-end deep learning framework for non-invasive brain recordings that brings modern representational learning approaches to neuroscience. Our proposal introduces the following innovations: 1) an end-to-end deep learning architecture for open vocabulary EEG decoding, incorporating a subject-dependent representation learning module for raw EEG encoding, a BART language model, and a GPT-4 sentence refinement module; 2) a more comprehensive sentence-level evaluation metric based on the BERTScore; 3) an ablation study that analyses the contributions of each module within our proposal, providing valuable insights for future research. We evaluate our approach on two publicly available datasets, ZuCo v1.0 and v2.0, comprising EEG recordings of 30 subjects engaged in natural reading tasks. Our model achieves a BLEU-1 score of 42.75%, a ROUGE-1-F of 33.28%, and a BERTScore-F of 53.86%, outperforming the previous state-of-the-art methods by 3.38%, 8.43%, and 6.31%, respectively.