BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language

📄 arXiv: 2606.30319v1 📥 PDF

作者: Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu

分类: cs.CV, cs.LG

发布日期: 2026-06-29

期刊: ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出BrainJanus以解决脑、视觉和语言之间的多模态建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态建模 脑机接口 视觉理解 语言处理 神经科学

📋 核心要点

  1. 现有方法将脑编码和解码视为孤立任务，忽视了大脑的多模态整合特性，导致建模效果受限。
  2. 论文提出BrainJanus，通过统一脑标记器和全能自回归架构，将脑、视觉和语言整合在一个框架中，支持任意生成。
  3. 实验结果显示BrainJanus在多个基准测试中表现优越，具备零-shot泛化能力，展现出良好的生物可解释性。

📝 摘要（中文）

建模外部感官刺激与内部神经活动之间的双向对应关系已成为神经科学的关键前沿。然而，现有方法主要将脑编码和解码视为孤立任务，过于依赖单模态对齐和外部先验，忽视了大脑作为多模态整合系统的内在特性。为了解决这些局限性，我们提出了BrainJanus，这是第一个将大脑、视觉和语言整合在单一框架中的统一脑模型。我们引入了统一脑标记器，将连续神经动态量化为与视觉和语言表示对齐的离散标记。基于此，我们利用全能自回归架构，通过下一个标记预测实现无缝的任意生成，涵盖图像到大脑和文本到大脑的编码，以及大脑到图像和大脑到文本的解码。大量实验表明，BrainJanus在多项基准测试中表现优越，且具有零-shot泛化能力，保留可解释的生物拓扑，显示出作为通用脑建模范式的潜力。

🔬 方法详解

问题定义：论文旨在解决现有脑建模方法将脑编码和解码视为孤立任务的问题，这些方法过于依赖单一模态的对齐和外部先验，未能充分利用大脑的多模态特性。

核心思路：论文提出的核心思路是BrainJanus模型，通过统一脑标记器将连续的神经动态量化为与视觉和语言表示对齐的离散标记，从而实现多模态的整合与生成。

技术框架：BrainJanus的整体架构包括统一脑标记器和全能自回归架构。统一脑标记器负责将神经活动转化为离散标记，而全能自回归架构则通过下一个标记预测实现图像到大脑、文本到大脑的编码，以及大脑到图像和大脑到文本的解码。

关键创新：BrainJanus的关键创新在于其统一的多模态框架，首次将脑、视觉和语言整合在一起，突破了传统方法的单一模态限制，提供了更为全面的建模能力。

关键设计：在技术细节上，论文设计了统一脑标记器的量化策略，采用了自回归模型进行生成，损失函数则针对多模态对齐进行了优化，确保了模型的有效性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BrainJanus在多个基准测试中表现优越，尤其在图像到大脑和文本到大脑的编码任务中，相较于现有方法提升了约20%的准确率。此外，该模型展现出良好的零-shot泛化能力，能够在未见过的数据上保持高性能。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、认知科学研究以及多模态人工智能系统的开发。通过更好地理解和生成大脑活动与视觉、语言之间的关系，BrainJanus有望推动相关领域的技术进步，提升人机交互的自然性和智能化水平。

📄 摘要（原文）

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at \href{https://github.com/HaitaoWuTJU/BrainJanus}{GitHub}.