SUP-MCRL: Subject-aware Unified Pseudo-feature Coded Multimodal Contrastive Representation Learning for EEG Visual Decoding

📄 arXiv: 2606.16615v1 📥 PDF

作者: Shengyu Gong, Weiming Zeng, Yueyang Li, Zijian Kang, Hongjie Yan, Wai Ting Siok, Nizhuan Wang

分类: cs.CV

发布日期: 2026-06-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出SUP-MCRL以解决脑机接口视觉解码中的语义一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑机接口 视觉解码 多模态对比学习 EEG信号 语义一致性 个体选择性 深度学习 神经科学

📋 核心要点

  1. 现有方法在自然视觉体验中的神经视觉解码存在语义一致性和个体选择性不足的问题，导致保真度下降。
  2. SUP-MCRL通过引入SAVE、UEE和PPA三种机制，优化了语义内容提取和跨个体的鲁棒性。
  3. 在THINGS-EEG数据集上，SUP-MCRL的零样本准确率显著超越了现有方法，展示了其有效性。

📝 摘要（中文）

非侵入式脑机接口在自然视觉体验中的神经视觉解码面临严重的保真度下降。传统的多模态对比表示学习仅优化几何距离对齐，忽视了语义一致性和个体选择性，导致虚假的零样本对齐。为此，本文提出SUP-MCRL，一个统一框架，整合了三种协作机制：语义实体感知视觉编码器（SAVE）、统一EEG增强器（UEE）和基于原型的渐进增强器（PPA）。在THINGS-EEG上的零样本实验中，SUP-MCRL实现了66.0%/91.9%（Top-1/Top-5）个体内和24.0%/52.9% LOSO准确率，超越了现有最先进的方法。代码可在https://github.com/NZWANG/SUP-MCRL获取。

🔬 方法详解

问题定义：本文旨在解决非侵入式脑机接口在自然视觉解码中的保真度下降问题。现有方法主要关注几何距离对齐，忽视了语义一致性和个体选择性，导致零样本对齐的虚假现象。

核心思路：SUP-MCRL通过整合语义感知、EEG增强和原型增强机制，旨在提高视觉解码的语义一致性和跨个体的鲁棒性，从而提升解码性能。

技术框架：SUP-MCRL框架包括三个主要模块：1) 语义实体感知视觉编码器（SAVE），用于提取语义内容；2) 统一EEG增强器（UEE），通过多尺度空洞卷积和跨频带注意力增强跨个体鲁棒性；3) 基于原型的渐进增强器（PPA），维护一个EMA更新的伪特征池以防止表示崩溃。

关键创新：SUP-MCRL的创新点在于同时考虑语义一致性和个体选择性，通过SAVE、UEE和PPA的协同作用，显著提升了视觉解码的准确性，区别于传统方法的单一几何对齐。

关键设计：在SAVE中，采用空间注意力机制提取语义内容，无需预训练的显著性模型；UEE使用多尺度空洞卷积和跨频带注意力来增强EEG信号的鲁棒性；PPA则通过EMA更新机制维护伪特征池，避免表示崩溃。具体的损失函数和网络结构设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在THINGS-EEG数据集上，SUP-MCRL实现了66.0%/91.9%（Top-1/Top-5）个体内准确率和24.0%/52.9% LOSO准确率，显著超越了现有最先进的方法，展示了其在视觉解码中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、脑机接口技术和人机交互等。通过提高视觉解码的准确性，SUP-MCRL能够为脑机接口的实际应用提供更可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Non-invasive brain-computer interfaces suffer severe fidelity degradation in neural visual decoding when generalizing to natural visual experiences. Conventional multimodal contrastive representation learning solely optimizes geometric distance alignment, neglecting semantic consistency and subject selectivity, causing spurious zero-shot alignment. We propose SUP-MCRL, a unified framework integrating three collaborative mechanisms: (1) Semantic-entity Aware Visual Encoder (SAVE), learning spatial attention to extract semantic content without pre-trained saliency models; (2 Unified EEG Enhancer (UEE), employing multi-scale atrous convolutions and inter-band attention for adaptive cross-subject robustness; and (3) Prototype-based Progressive Augmenter (PPA), maintaining an EMA-updated pseudo-feature pool to prevent representation collapse. Zero-shot experiments on THINGS-EEG achieve 66.0%/91.9% (Top-1/Top-5) intra-subject and 24.0%/52.9% LOSO accuracy, surpassing state-of-the-art methods. Code is available at https://github.com/NZWANG/SUP-MCRL.