RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain

📄 arXiv: 2607.05171v1 📥 PDF

作者: Omer Moussa, Mariya Toneva

分类: cs.CL

发布日期: 2026-07-06

备注: Under review at NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出RABBiT模型以解决语言引发脑反应预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言理解 脑活动预测 零-shot学习 少-shot学习 区域特定注意力 脑调优 神经科学 人工智能

📋 核心要点

  1. 现有的语言引发脑活动预测模型难以适应不同个体和刺激，导致泛化能力不足。
  2. RABBiT模型通过快速适应的BOLD基础模型，结合区域特定注意力和脑调优技术，实现了高效的零-shot和少-shot预测。
  3. 在324名参与者的实验中，RABBiT在自然语言的fMRI反应预测中表现优异，且仅需少量个体数据即可显著提升性能。

📝 摘要（中文）

语言理解在大脑中是依赖于上下文的，因实验刺激和个体差异而变化，这使得构建能够跨越这些差异的计算模型变得困难。为此，本文提出了RABBiT（快速适应性BOLD基础模型），旨在捕捉语言引发的脑活动的共享结构，同时高效适应新参与者和输入。通过对324名参与者的多组未见fMRI数据的综合评估，RABBiT在自然语言的fMRI反应零-shot预测中表现出色，超越了现有的基础模型。仅需10分钟的参与者特定数据，RABBiT通过参数高效的调优进一步提升了性能，显著优于每位参与者的线性模型。RABBiT的表现得益于两个关键创新：学习的区域特定注意力和将脑反应分解为共享与个体特定成分的能力。

🔬 方法详解

问题定义：本文旨在解决语言引发的脑反应预测问题，现有方法在个体差异和刺激多样性下表现不佳，难以实现有效的泛化。

核心思路：RABBiT模型通过引入区域特定的注意力机制和脑调优技术，能够快速适应新参与者和输入，提升预测准确性。

技术框架：RABBiT的整体架构包括一个紧凑的音频到fMRI编码器，结合了共享和个体特定的脑反应成分，支持高效的参数调优。

关键创新：RABBiT的核心创新在于学习区域特定的注意力机制，以及将脑反应分解为共享与个体特定成分的能力，这使得模型在个体数据稀缺的情况下仍能保持高准确性。

关键设计：模型设计中采用了参数高效的调优策略，损失函数针对预测精度进行了优化，网络结构则结合了音频输入与fMRI输出的映射关系，确保了模型的高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在324名参与者的实验中，RABBiT实现了对自然语言的fMRI反应的零-shot预测，显著超越了现有的基础模型。仅需10分钟的个体数据，RABBiT的性能提升幅度显著，优于传统的每位参与者线性模型，展示了其在个体适应性和预测准确性上的优势。

🎯 应用场景

RABBiT模型在语言理解和脑活动预测领域具有广泛的应用潜力，能够帮助研究人员更好地理解语言处理的神经机制。其高效的个体适应能力使得大规模人群研究成为可能，推动了神经科学与人工智能的交叉研究发展。

📄 摘要（原文）

Language understanding in the brain is context-dependent, varying across experimental stimuli and individuals, which makes it difficult to build computational models that generalize across both. This calls for a foundation model of language-evoked brain activity that can capture shared structure while adapting efficiently to new participants and inputs. We introduce RABBiT (Rapidly Adaptive BOLD foundation model via BraIn-Tuning), a compact audio-to-fMRI encoder designed for accurate zero- and few-shot prediction. A comprehensive evaluation on 324 participants across multiple unseen fMRI datasets shows that RABBiT enables accurate zero-shot prediction of fMRI responses to natural speech across auditory and language-selective regions, surpassing the SOTA foundation model for fMRI and predictions based on group averages. With as little as 10 minutes of participant-specific data, RABBiT further improves performance via parameter-efficient tuning, substantially outperforming per-participant linear models. RABBiT's performance is driven by two key innovations: (1) learned region-specific attention, and (2) a decomposition of brain responses into shared and subject-specific components, combined with a brain-tuned speech backbone. In addition to supporting strong predictive accuracy, the structured, region-specific representations that RABBiT learns enable interpretability. By eliminating the need for extensive per-participant data and model fitting, RABBiT enables scalable population-level analyses of language in the human brain. We make the code available at https://github.com/bridge-ai-neuro/rabbit.