What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

📄 arXiv: 2606.25718v1 📥 PDF

作者: Salini Yadav, Taveena Lotey, Pravendra Singh, Partha Pratim Roy

分类: cs.CV

发布日期: 2026-06-24

💡 一句话要点

提出统一多视角EEG表示学习框架以解决脑视觉对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑电图解码 视觉语义对齐 多视角表示学习 对比学习 神经网络 信号处理 跨会话评估

📋 核心要点

  1. 现有EEG-视觉对齐方法依赖整体EEG嵌入，难以捕捉视觉感知的多维结构，影响解码性能。
  2. 提出统一的多视角EEG表示学习框架，结合时间动态、频谱分解和图学习，增强脑响应与视觉语义的对齐。
  3. 在THINGS-EEG基准测试中，方法在同一被试设置下达到54.8% Top-1和85.6% Top-5的准确率，表现优异。

📝 摘要（中文）

零样本视觉解码通过脑电图（EEG）从非侵入性神经记录中推断视觉语义，但由于EEG的低信噪比、非平稳性和有限的空间分辨率，仍然面临挑战。现有的EEG-视觉对齐方法通常依赖于整体EEG嵌入，可能掩盖视觉感知背后的时间、频谱和空间结构。本文提出了一种统一的多视角EEG表示学习框架，通过构建EEG编码器，联合建模输入条件的状态空间时间动态、可学习的小波频谱分解以及注意力调制的图学习，从而实现脑响应与视觉语义嵌入的对齐。实验结果表明，该方法在THINGS-EEG基准测试中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决从EEG信号中进行零样本视觉解码的挑战，现有方法往往忽视EEG信号的多维特性，导致解码性能不足。

核心思路：通过构建一个多视角EEG编码器，联合建模时间动态、频谱特征和电极交互，增强EEG与视觉语义的对齐能力。

技术框架：整体框架包括三个主要模块：输入条件的状态空间时间动态建模、可学习的小波频谱分解，以及注意力调制的图学习，最后通过对比学习进行嵌入对齐。

关键创新：该方法的创新在于引入多视角表示学习，显著提升了EEG信号的语义对齐和解码能力，与传统方法相比，能够更好地捕捉信号的复杂结构。

关键设计：采用对比学习结合EEG特定正则化，确保多视角嵌入的有效融合，设置了适应性频率建模和结构化电极交互的机制，以优化解码性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在同一被试设置下达到了54.8% Top-1和85.6% Top-5的准确率，在跨被试设置下也取得了15.3% Top-1和45.4% Top-5的准确率，展现出显著的性能提升，尤其在首次系统化的跨会话EEG-图像解码评估中，达到了40.8% Top-1和78.0% Top-5的准确率。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在脑机接口、神经康复和情感计算等领域。通过提高EEG信号的解码能力，可以促进人机交互的自然化，推动智能医疗和辅助技术的发展。

📄 摘要（原文）

Zero-shot visual decoding from electroencephalography (EEG) aims to infer visual semantics from non-invasive neural recordings, but remains challenging due to the low signal-to-noise ratio, non-stationarity, and limited spatial resolution of EEG. Existing EEG-vision alignment methods often rely on holistic EEG embeddings, which can obscure the complementary temporal, spectral, and spatial structure underlying visual perception. We introduce a unified multiview EEG representation learning framework for aligning brain responses with visual semantic embeddings. Our method builds an EEG encoder that jointly models three complementary views: input-conditioned state-space temporal dynamics, learnable wavelet-based spectral decomposition for sample-adaptive frequency modeling, and attention-modulated graph learning for structured electrode interactions. The resulting multiview EEG embeddings are fused and aligned with pretrained visual representations in a shared semantic space using contrastive learning with EEG-specific regularization, enabling 200-way zero-shot visual classification. Experiments on THINGS-EEG benchmark show that our method achieves state-of-the-art performance, with 54.8% Top-1 and 85.6% Top-5 accuracy in the within-subject setting and 15.3% Top-1 and 45.4% Top-5 accuracy in the cross-subject setting. We further present the first systematic cross-session EEG-image decoding evaluation, achieving 40.8% Top-1 and 78.0% Top-5 accuracy. These results suggest that explicitly modeling multiview neural structure improves both semantic alignment and generalization in EEG-based visual decoding.