Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models

📄 arXiv: 2509.00787v3 📥 PDF

作者: Ganxi Xu, Jinyi Long, Jia Zhang

分类: cs.CV

发布日期: 2025-08-31 (更新: 2025-09-21)

💡 一句话要点

提出图像到脑信号生成框架以解决视觉假体的编码问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉假体 脑信号生成 多模态融合 去噪扩散模型 交叉注意力机制 CLIP编码器 神经科学 脑机接口

📋 核心要点

  1. 现有方法在视觉假体的脑编码阶段缺乏有效的图像到脑信号转换机制，限制了功能管道的完整性。
  2. 本文提出的框架利用去噪扩散模型和交叉注意力机制，从图像生成M/EEG信号，增强了生成过程中的特征对齐。
  3. 在两个多模态基准数据集上的实验结果显示，该框架生成的脑信号具有生物学合理性，并展示了个体间和个体内的信号变化可视化。

📝 摘要（中文）

视觉假体在恢复失明个体的视力方面具有巨大潜力。尽管研究者们成功利用M/EEG信号在视觉假体的脑解码阶段引发视觉感知，但将图像转换为M/EEG信号的脑编码阶段仍然未被充分探索，阻碍了完整功能管道的形成。本文提出了首个图像到脑信号框架，通过增强交叉注意力机制的去噪扩散概率模型，从图像生成M/EEG信号。该框架包括两个关键组件：预训练的CLIP视觉编码器和增强交叉注意力的U-Net扩散模型。我们在两个多模态基准数据集上评估了该框架，结果表明其生成的脑信号在生物学上是合理的。

🔬 方法详解

问题定义：本文旨在解决视觉假体中图像到脑信号转换的缺失问题。现有方法主要集中在脑解码阶段，缺乏对脑编码阶段的研究，导致功能管道不完整。

核心思路：提出的框架通过结合去噪扩散模型和交叉注意力机制，能够从输入图像生成M/EEG信号，捕捉视觉特征与脑信号表示之间的复杂关系，从而实现更精细的对齐。

技术框架：整体架构包括两个主要模块：首先是预训练的CLIP视觉编码器，用于提取输入图像的丰富语义表示；其次是增强交叉注意力的U-Net扩散模型，通过迭代去噪重建脑信号。

关键创新：该研究的创新点在于引入交叉注意力机制，区别于传统生成模型的简单拼接方法，使得视觉特征与脑信号表示之间的关系得以更好地捕捉和利用。

关键设计：在模型设计中，采用了特定的损失函数以优化生成质量，并通过多层U-Net结构增强模型的表达能力，确保生成的脑信号在生物学上合理。

📊 实验亮点

实验结果表明，提出的框架在两个多模态基准数据集上生成的脑信号在生物学上合理，且通过交叉注意力机制实现了更好的特征对齐。具体性能数据和对比基线尚未提供，但实验展示了显著的个体间和个体内信号变化可视化效果。

🎯 应用场景

该研究的潜在应用领域包括视觉假体的开发与优化，能够为失明患者提供更有效的视觉恢复方案。此外，该框架的技术也可能扩展到其他脑机接口和神经科学研究中，推动相关领域的发展。

📄 摘要（原文）

Visual prostheses hold great promise for restoring vision in blind individuals. While researchers have successfully utilized M/EEG signals to evoke visual perceptions during the brain decoding stage of visual prostheses, the complementary process of converting images into M/EEG signals in the brain encoding stage remains largely unexplored, hindering the formation of a complete functional pipeline. In this work, we present, to our knowledge, the first image-to-brain signal framework that generates M/EEG from images by leveraging denoising diffusion probabilistic models enhanced with cross-attention mechanisms. Specifically, the proposed framework comprises two key components: a pretrained CLIP visual encoder that extracts rich semantic representations from input images, and a cross-attention enhanced U-Net diffusion model that reconstructs brain signals through iterative denoising. Unlike conventional generative models that rely on simple concatenation for conditioning, our cross-attention modules capture the complex interplay between visual features and brain signal representations, enabling fine-grained alignment during generation. We evaluate the framework on two multimodal benchmark datasets and demonstrate that it generates biologically plausible brain signals. We also present visualizations of M/EEG topographies across all subjects in both datasets, providing intuitive demonstrations of intra-subject and inter-subject variations in brain signals.