NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation
作者: Jingyang Huo, Yikai Wang, Xuelin Qian, Yun Wang, Chong Li, Jianfeng Feng, Yanwei Fu
分类: cs.CV, cs.LG
发布日期: 2024-03-27 (更新: 2024-07-18)
备注: Accepted by ECCV 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出NeuroPictor以解决fMRI到图像重建的控制不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: fMRI重建 扩散模型 多主体学习 图像生成 神经科学 机器学习
📋 核心要点
- 现有fMRI到图像的方法在图像生成的控制能力上存在不足，无法充分利用fMRI信号中的复杂信息。
- NeuroPictor通过直接调节扩散模型的生成过程，分为三个步骤以实现更好的图像生成控制。
- 在使用约67,000对fMRI-图像数据进行训练后，模型在同一主体设置下的解码能力显著提升，表现优异。
📝 摘要（中文）
近年来，fMRI到图像的研究主要集中在将fMRI信号与预训练扩散模型的特定条件关联。尽管这些方法生成了高质量的图像，但仅捕捉了fMRI信号中复杂信息的有限方面，并且对图像生成的详细控制能力不足。本文提出的NeuroPictor方法直接调节扩散模型的生成过程，分为三个步骤：fMRI校准编码、多主体预训练和单主体精细调整。通过从约67,000对fMRI-图像数据中训练，模型在同一主体设置下展现了优越的解码能力，尤其在基准数据集上表现突出。
🔬 方法详解
问题定义：本文旨在解决现有fMRI到图像重建方法在图像生成控制能力不足的问题，现有方法仅能捕捉fMRI信号的有限信息。
核心思路：NeuroPictor通过直接调节扩散模型的生成过程，分为三个步骤：fMRI校准编码、多主体预训练和单主体精细调整，以实现更精确的图像生成。
技术框架：整体架构包括三个主要模块：首先进行fMRI校准编码以减少个体差异；其次进行多主体预训练以学习不同个体的高低层条件；最后进行单主体精细调整以适应特定个体。
关键创新：最重要的技术创新在于通过多主体预训练和多层次调节，增强了对fMRI信号的解码能力，显著提升了图像生成的控制精度。
关键设计：在模型设计中，采用了低层次操作网络来逐步微调扩散模型，并使用特定的损失函数来优化生成效果，确保高层语义特征的提取与低层结构指令的精确结合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NeuroPictor在同一主体设置下的fMRI到图像解码能力显著提升，尤其在基准数据集上，模型的性能超越了现有方法，展示了更高的图像生成质量和控制精度。
🎯 应用场景
该研究的潜在应用领域包括神经科学、心理学和计算机视觉等，能够帮助研究人员更好地理解大脑活动与视觉刺激之间的关系，推动脑机接口和相关技术的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent fMRI-to-image approaches mainly focused on associating fMRI signals with specific conditions of pre-trained diffusion models. These approaches, while producing high-quality images, capture only a limited aspect of the complex information in fMRI signals and offer little detailed control over image creation. In contrast, this paper proposes to directly modulate the generation process of diffusion models using fMRI signals. Our approach, NeuroPictor, divides the fMRI-to-image process into three steps: i) fMRI calibrated-encoding, to tackle multi-individual pre-training for a shared latent space to minimize individual difference and enable the subsequent multi-subject training; ii) fMRI-to-image multi-subject pre-training, perceptually learning to guide diffusion model with high- and low-level conditions across different individuals; iii) fMRI-to-image single-subject refining, similar with step ii but focus on adapting to particular individual. NeuroPictor extracts high-level semantic features from fMRI signals that characterizing the visual stimulus and incrementally fine-tunes the diffusion model with a low-level manipulation network to provide precise structural instructions. By training with about 67,000 fMRI-image pairs from various individuals, our model enjoys superior fMRI-to-image decoding capacity, particularly in the within-subject setting, as evidenced in benchmark datasets. Our code and model are available at https://jingyanghuo.github.io/neuropictor/.