E2I-Flow: EEG-to-Image Reconstruction via Wavelet-Temporal Cross-Attention and Conditional Flow Matching

📄 arXiv: 2611.04524v1 📥 PDF

作者: Haowei Pan, Hwa Hui Tew, Junn Yong Loo, Fuad Noman, Hernando Ombao, Chee-Ming Ting

分类: cs.CV, cs.LG

发布日期: 2026-11-03

💡 一句话要点

提出E2I-Flow以解决EEG信号到图像重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑电图 视觉解码 图像重建 条件流匹配 时频表示 Transformer 深度学习

📋 核心要点

  1. 现有EEG信号解码方法在处理复杂的时频特性和有效映射神经活动方面存在显著挑战。
  2. E2I-Flow框架通过新型EEG编码器和条件流匹配技术，提升了EEG特征的时频表示学习和视觉解码能力。
  3. 实验结果表明，E2I-Flow在零-shot EEG到图像检索和视觉重建性能上显著优于多项现有方法。

📝 摘要（中文）

基于脑电图（EEG）的视觉解码与重建旨在从非侵入性脑信号中恢复视觉信息。然而，由于EEG信号的复杂时频特性以及离散去噪框架在将神经活动映射到有意义的视觉表示方面的困难，现有方法面临挑战。本文提出了E2I-Flow，一个结合新型EEG编码器和条件流匹配的EEG到图像解码与重建框架。该框架通过双向交叉注意力和自适应融合，将静态小波频率分支与时间混合分支整合，最终利用对比损失和均方误差损失对齐EEG表示与真实图像嵌入。对齐后的EEG表示作为条件输入到基于Transformer的流匹配模型中，以预测相应的视觉嵌入进行图像合成。实验结果显示，该方法在零-shot EEG到图像检索和视觉重建性能上均优于多项最先进基线。

🔬 方法详解

问题定义：本文旨在解决从EEG信号中重建图像的具体问题。现有方法在处理EEG信号的复杂时频特性和有效映射神经活动到视觉表示方面存在困难，导致重建效果不佳。

核心思路：E2I-Flow框架的核心思路是结合新型EEG编码器与条件流匹配，通过双向交叉注意力机制和自适应融合来提升EEG特征的时频表示能力，从而实现更准确的视觉解码。

技术框架：该框架主要包括三个模块：1) EEG编码器，用于提取EEG信号的时频特征；2) 条件流匹配模型，基于Transformer架构进行视觉嵌入的预测；3) 对齐机制，通过对比损失和均方误差损失对齐EEG表示与真实图像嵌入。

关键创新：E2I-Flow的关键创新在于引入了静态小波频率分支和时间混合分支的双向交叉注意力机制，显著提升了EEG信号的表示能力，与传统方法相比，能够更有效地捕捉时频特征。

关键设计：在设计中，采用了对比损失和均方误差损失作为优化目标，确保EEG表示与图像嵌入的对齐。此外，Transformer架构的使用使得流匹配过程更加高效，提升了图像合成的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，E2I-Flow在零-shot EEG到图像检索中表现出色，成功实现了高质量的视觉重建，性能超越了多项最先进的基线方法，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、医疗诊断以及人机交互等。通过从EEG信号中重建图像，能够为神经科学研究提供新的工具，帮助理解脑活动与视觉感知之间的关系，具有重要的实际价值和未来影响。

📄 摘要（原文）

Electroencephalography (EEG)-based visual decoding and reconstruction aims to recover visual information from non-invasive brain signals. But there are challenges due to the complex temporal-frequency characteristics of EEG signals and the difficulty of discrete denoising framework in mapping neural activity to meaningful visual representations. Here, we propose E2I-Flow, an EEG-to-image decoding and reconstruction framework that combines a novel EEG encoder for time-frequency representation learning from EEG features, and conditional flow matching for visual decoding. A stationary-wavelet frequency branch and a temporal-mixing branch are integrated through bidirectional cross-attention and adaptive fusion, with the resulting EEG representations aligned to ground-truth image embeddings using contrastive and mean-squared-error loss supervisions. The aligned EEG representation is then used as a condition for a Transformer-based flow-matching model to predict the corresponding visual embedding for image synthesis. Experimental results show strong zero-shot EEG-to-image retrieval and improved visual reconstruction performance, outperforming several state-of-the-art baselines.