Aligned with LLM: a new multi-modal training paradigm for encoding fMRI activity in visual cortex

📄 arXiv: 2401.03851v1 📥 PDF

作者: Shuxiao Ma, Linyuan Wang, Senbao Hou, Bin Yan

分类: cs.CV, q-bio.NC

发布日期: 2024-01-08

💡 一句话要点

提出多模态训练范式以增强视觉皮层fMRI活动编码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态训练 视觉编码 fMRI 大型语言模型 对比损失 文本嵌入 神经科学 计算机视觉

📋 核心要点

  1. 现有的视觉编码模型在处理fMRI数据时，往往缺乏有效的多模态信息融合，导致性能不足。
  2. 本文提出了一种新的多模态训练范式，通过与大型语言模型对齐，利用生成的文本描述来增强视觉编码模型的学习能力。
  3. 实验结果显示，LLM-VEM模型在视觉编码任务中表现出显著的性能提升，验证了该方法的有效性。

📝 摘要（中文）

近年来，预训练的大型语言模型（LLMs）在自然语言处理和计算机视觉领域的应用日益广泛，展现出卓越的多模态理解能力。本文提出了一种新的多模态训练范式，旨在通过与LLM对齐来编码视觉皮层的fMRI活动。我们训练了一个名为LLM-视觉编码模型（LLM-VEM）的编码模型，利用miniGPT4生成刺激图像的描述性文本，并通过预训练的文本编码器CLIP处理这些描述，最终通过对比损失函数实现图像和文本特征的对齐。实验结果表明，该训练范式显著提升了视觉编码模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉编码模型在处理fMRI数据时对多模态信息融合不足的问题，导致模型性能不佳。

核心思路：通过与大型语言模型（LLM）对齐，利用生成的高质量文本描述来增强视觉编码模型的学习能力，从而提高编码精度。

技术框架：整体流程包括使用miniGPT4生成刺激图像的描述性文本，利用CLIP处理文本以获得文本嵌入特征，最后通过对比损失函数对图像和文本特征进行对齐。

关键创新：最重要的创新在于引入了与LLM对齐的多模态训练范式，使得视觉编码模型能够更好地学习多模态信息，从而提升性能。

关键设计：采用对比损失函数来最小化图像嵌入特征与文本嵌入特征之间的距离，确保图像和文本信息的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-VEM模型在视觉编码任务中相较于基线模型性能提升显著，具体提升幅度达到XX%（具体数据需根据实验结果补充），验证了新训练范式的有效性。

🎯 应用场景

该研究的潜在应用领域包括神经科学、计算机视觉和人工智能等。通过提高视觉编码模型的性能，可能在脑机接口、视觉理解和认知科学等领域产生重要影响，推动相关技术的发展与应用。

📄 摘要（原文）

Recently, there has been a surge in the popularity of pre trained large language models (LLMs) (such as GPT-4), sweeping across the entire Natural Language Processing (NLP) and Computer Vision (CV) communities. These LLMs have demonstrated advanced multi-modal understanding capabilities and showcased strong performance across various benchmarks. The LLM has started to embody traits of artificial general intelligence, which holds vital guidance for enhancing brain-like characteristics within visual encoding models. Hence, This paper proposes a new multi-modal training paradigm, aligning with LLM, for encoding fMRI activity in visual cortex. Based on this paradigm, we trained an encoding model in fMRI data named the LLM-Visual Encoding Model (LLM-VEM). Specifically, we utilize LLM (miniGPT4) to generate descriptive text for all stimulus images, forming a high-quality textual description set. Moreover, we use the pre-trained text encoder (CLIP) to process these detailed descriptions, obtaining the text embedding features. Next, we use the contrast loss function to minimize the distance between the image embedding features and the text embedding features to complete the alignment operation of the stimulus image and text information. With the assistance of the pre-trained LLM, this alignment process facilitates better learning of the visual encoding model, resulting in higher precision. The final experimental results indicate that our training paradigm has significantly aided in enhancing the performance of the visual encoding model.