EEG Benchmarking Needs a Task Specification Layer: NeuroDoc for Rulebook-Guided, Executable Benchmark Construction

📄 arXiv: 2606.22925v1 📥 PDF

作者: Chengxuan Qin, Zhige Chen, Shu Peng, Rui Yang, Jiping Cui, Yikai Dong, Jun Li, Liu Peng, Zhida Shang, Mingze Tang, Kay Chen Tan, Jibin Wu

分类: cs.LG, cs.NE

发布日期: 2026-06-22

💡 一句话要点

提出NeuroDoc以解决EEG基准测试任务规范化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 基准测试 任务规范 数据集标准化 机器学习 神经科学 可执行性 审计

📋 核心要点

  1. 现有EEG数据集缺乏统一的任务规范层，导致任务语义分散，影响基准测试的可重用性和一致性。
  2. 提出了一种结构化任务规范语言和共享规则书，将异构EEG数据集标准化为可执行的基准单元。
  3. 发布了一个包含245个任务定义的EEG基准语料库，并验证了其在多个EEG基础模型中的可执行性和可审计性。

📝 摘要（中文）

随着脑电图（EEG）基础模型越来越依赖于多数据集的训练和评估，现有公共EEG数据集缺乏共享的任务规范层，无法将异构记录转化为可重用的基准单元。现有标准虽然组织了文件、元数据和来源，但未能在统一的语言和规则下规范EEG任务，导致任务语义分散在文献、代码和手动解释中。本文探讨通过结构化任务规范语言与共享规则书来标准化异构公共EEG数据集。我们的方法将每个基准条目表示为与可执行任务内核同步的任务文档，规则书定义了任务字段、证据要求、文档-内核对齐、审查状态和机器可检查的约束。基于此方法，我们发布了一个社区审查的EEG基准语料库，涵盖53个已完成和审查的条目，包含245个任务定义，涉及多种范式，并引入NeuroDoc和NeuroAudit作为规则书指导的操作支持层。

🔬 方法详解

问题定义：本文旨在解决现有EEG基准测试中缺乏统一任务规范的问题。现有方法未能有效整合异构数据集，导致任务语义的混乱和不一致。

核心思路：通过引入结构化任务规范语言和共享规则书，本文提供了一种标准化的方式来描述和执行EEG任务，从而提高基准测试的可重用性和一致性。

技术框架：整体架构包括任务文档和可执行任务内核的同步，规则书定义了任务的各个字段、证据要求及机器可检查的约束。主要模块包括任务定义、文档-内核对齐和审查管理。

关键创新：最重要的创新在于引入了规则书指导的任务规范层，使得不同数据集的任务可以在统一框架下进行描述和执行，显著提升了基准测试的标准化程度。

关键设计：在设计中，任务文档与内核的对齐是核心，确保了任务的可执行性。此外，规则书中的字段定义和约束条件为任务的审查和管理提供了清晰的指导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于NeuroDoc的EEG基准语料库在多个EEG基础模型中实现了可执行性和可审计性，245个任务定义的引入显著提升了基准测试的标准化程度，为后续研究提供了可靠的基础。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经科学研究和临床诊断等。通过标准化EEG基准测试，研究人员可以更高效地比较不同模型的性能，推动EEG技术的广泛应用和发展，未来可能对个性化医疗和智能设备的设计产生深远影响。

📄 摘要（原文）

Electroencephalography (EEG) foundation models increasingly rely on multi-dataset training and evaluation, yet public EEG datasets still lack a shared task specification layer that can turn heterogeneous recordings into reusable benchmark units. Existing standards organize files, metadata, and provenance, but they do not specify EEG tasks under a common language and rulebook, leaving critical task semantics scattered across papers, code, and manual interpretation. We investigate whether heterogeneous public EEG datasets can be standardized through a structured task specification language paired with a shared rulebook. Our methodology represents each benchmark entry as a task document synchronized with an executable task kernel, with the rulebook defining task fields, evidence requirements, document-kernel alignment, review states, and machine-checkable constraints. Using this methodology, we release a community-reviewed EEG benchmark corpus centered on 53 completed and reviewed entries with 245 task definitions spanning diverse paradigms, and we introduce NeuroDoc and NeuroAudit as the operational support layer for rulebook-guided drafting, upgrading, review, amendment, and release management. We further examine whether the resulting benchmark units can be instantiated in a shared downstream setting across four EEG foundation model backbones, providing execution-based evidence for reusable, auditable, and executable EEG benchmarking infrastructure.