OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding

📄 arXiv: 2610.35355v1 📥 PDF

作者: Jiacheng Zhang, Xueyi Zhang, Xin Lu, Siqi Cai, Haizhou Li

分类: cs.LG

发布日期: 2026-10-26

💡 一句话要点

提出OneEEG以解决多任务EEG理解的碎片化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 多模态大语言模型 任务感知 混合投影器 特征对齐 EEG理解 视觉EEG 多任务学习

📋 核心要点

  1. 现有的多模态大语言模型在理解EEG输入方面能力有限，导致EEG建模在不同任务中的应用效果不佳。
  2. 本文提出的OneEEG框架通过联合建模数值和视觉EEG表示，并引入任务感知的混合投影器，解决了EEG特征对齐的问题。
  3. 实验结果显示，OneEEG在多任务EEG理解上表现优异，超越了现有模型，尤其在视觉EEG渲染和特征分散方面的效果显著。

📝 摘要（中文）

脑电图（EEG）广泛应用于临床评估、脑机接口和认知状态分析，但EEG建模在不同任务范式中仍然存在碎片化问题。本文提出了OneEEG，一个统一的EEG-多模态大语言模型框架，旨在实现多任务EEG理解。通过在我们精心策划的OneEEG-Instruct数据集上进行训练，OneEEG联合建模数值EEG表示和视觉EEG表示，并引入任务感知的混合投影器（MoP），以对齐不同任务家族的异构EEG特征与LLM嵌入空间。此外，我们建立了OneEEG-Bench，一个用于评估当前多模态大语言模型及我们方法在多任务EEG理解上的基准。实验表明，现有多模态大语言模型在解释EEG输入方面能力有限，而OneEEG通过整合数值和视觉EEG表示以及任务感知的EEG到LLM投影，取得了更强的性能。

🔬 方法详解

问题定义：本文旨在解决EEG建模在多任务范式中的碎片化问题，现有方法在处理不同任务的EEG特征时缺乏有效的对齐机制，导致理解效果不佳。

核心思路：OneEEG框架通过联合建模数值和视觉EEG表示，利用任务感知的混合投影器（MoP）来对齐异构特征，从而增强模型对EEG输入的理解能力。

技术框架：OneEEG的整体架构包括数据预处理、特征提取、任务感知的混合投影器和多模态大语言模型的集成。该框架通过OneEEG-Instruct数据集进行训练，确保模型能够适应多种EEG任务。

关键创新：OneEEG的核心创新在于引入任务感知的混合投影器（MoP），该方法能够有效对齐不同任务的EEG特征与LLM嵌入空间，显著提升了模型的多任务理解能力。

关键设计：在模型设计中，采用了特定的损失函数来优化任务间的特征对齐，同时在网络结构中引入了视觉EEG渲染模块，以增强模型对视觉信息的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OneEEG在多任务EEG理解上显著优于现有的多模态大语言模型，尤其在视觉EEG渲染和特征对齐方面表现突出。具体来说，OneEEG在多个基准测试中提高了性能，展示了其在处理复杂EEG任务时的优势。

🎯 应用场景

OneEEG的研究成果在临床评估、脑机接口和认知状态分析等领域具有广泛的应用潜力。通过提升EEG信号的理解能力，该模型能够为医疗诊断、心理健康监测和人机交互提供更为精准的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Electroencephalography (EEG) is widely used in clinical assessment, brain-computer interfaces, and cognitive-state analysis, yet EEG modeling remains fragmented across task paradigms. Recent multimodal large language models (MLLMs) provide a promising interface for flexible multimodal reasoning, but their ability to understand EEG inputs remains limited. In this work, we propose OneEEG, a unified EEG-MLLM framework for multi-task EEG understanding. By training on our curated OneEEG-Instruct, a multi-task EEG instruction-tuning dataset, OneEEG jointly models numerical EEG representations and visual EEG representations, and introduces a task-aware Mixture of Projectors (MoP) to align heterogeneous EEG features across different task families with the LLM embedding space. We further establish OneEEG-Bench, a benchmark for evaluating current MLLMs and our method on multi-task EEG understanding. Experiments show that existing MLLMs have limited ability to interpret EEG inputs, while OneEEG achieves stronger performance by integrating numerical and visual EEG representations with task-aware EEG-to-LLM projection. Extensive ablations and analyses further reveal the effects of visual EEG renderings, MoP variants, router behavior, and feature dispersion across EEG tasks.