Modality-Agnostic fMRI Decoding of Vision and Language
作者: Mitja Nikolaus, Milad Mozafari, Nicholas Asher, Leila Reddy, Rufin VanRullen
分类: cs.CV, cs.CL
发布日期: 2024-03-18
备注: To appear at ICLR 2024 workshop on Representational Alignment (Re-Align)
💡 一句话要点
提出模态无关的fMRI解码方法以解决视觉与语言的交互问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: fMRI解码 模态无关 视觉与语言 脑机接口 多模态学习 认知神经科学 深度学习
📋 核心要点
- 现有方法主要依赖于模态特定解码，难以有效处理视觉与语言的交互信息。
- 本文提出了一种模态无关的解码器，能够同时处理图像和文本刺激，提升解码的灵活性和准确性。
- 实验结果显示，模态无关解码器在多种模型上表现优异，尤其是在高层视觉区域对不同刺激类型的解码能力上。
📝 摘要（中文）
以往研究表明，可以将观看图像的脑激活数据映射到视觉模型和语言模型的特征表示空间。本文引入了一个新的大规模fMRI数据集（每个受试者约8,500次试验），用于观察人们观看图像和文本描述。该数据集使得开发模态无关解码器成为可能，即一个解码器可以预测受试者所见的刺激，无论刺激是以图像还是文本形式呈现。研究发现，模态无关解码器的表现与模态特定解码器相当，甚至在某些情况下更优，且在映射脑数据时，使用单模态模型的解码器表现与使用多模态表示的解码器相当。
🔬 方法详解
问题定义：本文旨在解决现有模态特定解码方法在处理视觉与语言交互时的局限性，尤其是在解码准确性和灵活性方面的不足。
核心思路：提出模态无关解码器，能够同时处理图像和文本刺激，通过一个统一的模型来提高解码的效率和准确性。
技术框架：整体架构包括数据收集、解码器训练和评估三个主要模块。数据收集阶段使用新构建的fMRI数据集，解码器训练阶段采用多种视觉、语言和多模态模型进行映射，评估阶段则比较模态无关解码器与模态特定解码器的性能。
关键创新：最重要的创新在于开发了一个能够跨模态工作的解码器，打破了传统模态特定解码的限制，使得同一解码器能够处理不同类型的刺激。
关键设计：在解码器设计中，采用了多种损失函数和网络结构，以优化对不同模态的适应性，同时在训练过程中使用了大量的公开数据集以增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模态无关解码器的性能与模态特定解码器相当，甚至在某些情况下表现更佳。具体而言，模态无关解码器在映射脑数据时，使用单模态模型的解码器与多模态表示的解码器表现相当，显示出其强大的适应性。
🎯 应用场景
该研究的潜在应用领域包括脑机接口、认知神经科学以及人机交互等。模态无关解码器能够帮助我们更好地理解视觉与语言之间的关系，推动相关领域的研究进展，并可能在医疗诊断和治疗中发挥重要作用。
📄 摘要（原文）
Previous studies have shown that it is possible to map brain activation data of subjects viewing images onto the feature representation space of not only vision models (modality-specific decoding) but also language models (cross-modal decoding). In this work, we introduce and use a new large-scale fMRI dataset (~8,500 trials per subject) of people watching both images and text descriptions of such images. This novel dataset enables the development of modality-agnostic decoders: a single decoder that can predict which stimulus a subject is seeing, irrespective of the modality (image or text) in which the stimulus is presented. We train and evaluate such decoders to map brain signals onto stimulus representations from a large range of publicly available vision, language and multimodal (vision+language) models. Our findings reveal that (1) modality-agnostic decoders perform as well as (and sometimes even better than) modality-specific decoders (2) modality-agnostic decoders mapping brain data onto representations from unimodal models perform as well as decoders relying on multimodal representations (3) while language and low-level visual (occipital) brain regions are best at decoding text and image stimuli, respectively, high-level visual (temporal) regions perform well on both stimulus types.