Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder

📄 arXiv: 2402.17433v3 📥 PDF

作者: Jiaqi Wang, Zhenxi Song, Zhengyu Ma, Xipeng Qiu, Min Zhang, Zhiguo Zhang

分类: cs.CL

发布日期: 2024-02-27 (更新: 2024-06-10)

备注: 8 pages (excluding references), accepted by ACL 2024 Main Conference

期刊: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics, Volume 1, pages 7278-7292, August 2024, Bangkok, Thailand

DOI: 10.18653/v1/2024.acl-long.393

💡 一句话要点

提出CET-MAE以解决EEG与文本解码的跨模态学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图解码 跨模态学习 自监督学习 脑机接口 文本生成 预训练模型 多流编码器 EEG特征

📋 核心要点

  1. EEG基础的语言解码技术仍处于初级阶段，面临跨模态学习与特征重构的挑战。
  2. 提出的CET-MAE模型通过多流编码器实现EEG与文本的复合自监督学习，提升解码效果。
  3. E2T-PTR框架在ZuCo数据库上实验结果显示，ROUGE-1 F1和BLEU-4分数显著提升，超越现有技术。

📝 摘要（中文）

从非侵入性脑电图（EEG）重构自然语言在脑机接口（BCI）技术中具有巨大潜力。然而，EEG基础的语言解码仍处于初级阶段，面临多项技术挑战，包括缺乏有效的跨模态自学习与EEG特征或文本序列的自重构的混合策略，以及对大型语言模型（LLMs）的利用不足。为了解决这些问题，本文提出了对比EEG-文本掩码自编码器（CET-MAE），该模型通过专用的多流编码器在EEG和文本之间及其内部进行复合自监督学习。此外，我们开发了E2T-PTR框架，利用CET-MAE的预训练模块与EEG流，进一步使LLM（具体为BART）能够从EEG序列解码文本。在流行的文本引发EEG数据库ZuCo上进行的全面实验表明，E2T-PTR在ROUGE-1 F1和BLEU-4分数上分别超越了现有技术8.34%和32.21%，显示出该框架在BCI应用中的巨大潜力。

🔬 方法详解

问题定义：本文旨在解决EEG与文本解码中的跨模态学习不足和特征重构问题。现有方法未能有效整合EEG特征与文本序列的自学习，导致解码性能受限。

核心思路：提出的CET-MAE模型通过多流编码器实现EEG与文本的复合自监督学习，旨在充分利用EEG信号与文本之间的关联性，从而提升解码效果。

技术框架：整体架构包括CET-MAE模型和E2T-PTR框架。CET-MAE负责跨模态学习，而E2T-PTR则利用预训练模块与EEG流结合，进一步实现文本解码。

关键创新：最重要的创新在于提出了CET-MAE模型，能够有效整合EEG与文本的自监督学习，显著提高了解码性能，与传统方法相比具有本质区别。

关键设计：模型设计中采用了多流编码器结构，结合了特定的损失函数以优化跨模态学习效果，确保EEG特征与文本序列的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，E2T-PTR在ROUGE-1 F1和BLEU-4分数上分别超越现有技术8.34%和32.21%，证明了该框架在EEG到文本解码中的显著优势，展示了其在脑机接口应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经康复和人机交互等。通过提升EEG到文本的解码能力，能够为残疾人士提供更自然的沟通方式，并推动智能设备的脑控技术发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reconstructing natural language from non-invasive electroencephalography (EEG) holds great promise as a language decoding technology for brain-computer interfaces (BCIs). However, EEG-based language decoding is still in its nascent stages, facing several technical issues such as: 1) Absence of a hybrid strategy that can effectively integrate cross-modality (between EEG and text) self-learning with intra-modality self-reconstruction of EEG features or textual sequences; 2) Under-utilization of large language models (LLMs) to enhance EEG-based language decoding. To address above issues, we propose the Contrastive EEG-Text Masked Autoencoder (CET-MAE), a novel model that orchestrates compound self-supervised learning across and within EEG and text through a dedicated multi-stream encoder. Furthermore, we develop a framework called E2T-PTR (EEG-to-Text decoding using Pretrained Transferable Representations), which leverages pre-trained modules alongside the EEG stream from CET-MAE and further enables an LLM (specifically BART) to decode text from EEG sequences. Comprehensive experiments conducted on the popular text-evoked EEG database, ZuCo, demonstrate the superiority of E2T-PTR, which outperforms the state-of-the-art in ROUGE-1 F1 and BLEU-4 scores by 8.34% and 32.21%, respectively. These results indicate significant advancements in the field and underscores the proposed framework's potential to enable more powerful and widespread BCI applications.