Frequency-Decorrelated Temporal Ensembles for EEG--fNIRS Imagined-Handwriting Decoding
作者: Xiao Fan, Hongbin Guo, Yubo Han, Yi Zhang
分类: cs.CV, cs.HC
发布日期: 2026-08-04
🔗 代码/项目: GITHUB
💡 一句话要点
提出FRED系统以解决EEG-fNIRS想象手写解码问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑机接口 EEG解码 fNIRS 多模态融合 时序建模 机器学习 神经信号处理
📋 核心要点
- 现有方法在跨未见参与者的EEG信号解码中面临噪声干扰和个体差异的挑战，导致识别准确率低。
- 论文提出FRED系统，通过多尺度时序网络和频率解耦的时间集成，增强了对想象手写的解码能力。
- 实验结果显示，FRED系统在多个测试集上取得了显著的准确率提升，尤其在私有测试集上达到了0.7718的准确率。
📝 摘要（中文）
想象手写为非侵入式神经解码提供了丰富的时序范式，但由于头皮EEG噪声和个体间内部生成的笔画序列差异，跨未见参与者的可靠识别仍然困难。本文提出FRED，一个任务适应系统，将想象手写建模为多秒的运动序列，并在三种互补的EEG频率视图上训练紧凑的多尺度时序网络。实验结果显示，该系统在公共和私有测试集上分别达到了0.8076和0.7242的准确率，且未进行测试集适应或输出约束。通过频率多样的时序EEG建模和协议匹配的结构推理，显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决在EEG-fNIRS环境下，跨未见参与者的想象手写解码准确率低的问题。现有方法由于EEG信号的噪声和个体间的笔画序列差异，导致解码效果不佳。
核心思路：FRED系统将想象手写视为多秒的运动序列，通过训练一个紧凑的多尺度时序网络，利用三种互补的EEG频率视图来减少解码误差。该设计旨在通过频率解耦来提高模型的泛化能力。
技术框架：FRED系统的整体架构包括数据预处理、频率视图生成、模型训练和后处理四个主要模块。每个模块都针对特定的任务需求进行了优化，以确保系统的高效性和准确性。
关键创新：最重要的技术创新在于频率多样的时序EEG建模和协议匹配的结构推理，这些方法显著降低了模型的误差相关性，从而提升了解码性能。
关键设计：系统采用了三种不同的EEG频率视图，每个视图使用三个随机种子进行训练，形成九个成员的集成。此外，使用了转导伪标签训练和后验聚合等技术，以进一步提高解码准确率。损失函数和网络结构经过精心设计，以适应多模态输入。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FRED系统在公共测试集上达到了0.8076的准确率，在私有测试集上达到了0.7718，整体准确率为0.7952，排名第四。与传统方法相比，FRED系统通过频率解耦和结构推理显著提升了解码性能，展示了其在稀疏电极EEG-fNIRS设置中的优势。
🎯 应用场景
该研究的潜在应用领域包括脑机接口、康复训练和人机交互等。通过提高EEG-fNIRS的解码准确率，能够更好地理解和利用脑电信号，推动相关技术在医疗和辅助设备中的应用，具有重要的实际价值和未来影响。
📄 摘要（原文）
Imagined handwriting offers a temporally rich paradigm for non-invasive neural decoding, yet reliable recognition across unseen participants remains difficult because scalp EEG is noisy and internally generated stroke sequences vary across individuals. The Multimodal Brain-Computer Interface Grand Challenge provides synchronized EEG and fNIRS for four-class subject-independent handwriting-trajectory classification. We propose FRED, a task-adapted system that models imagined handwriting as a multi-second motor sequence and trains a compact multi-scale temporal network on three complementary EEG frequency views. With three seeds per view, cross-band members produce substantially less-correlated errors than same-band replicas, yielding a clean nine-member ensemble accuracy of 0.8076/0.7242/0.7492 on the public/private/overall test partitions without test-set adaptation or output constraints. The submitted pipeline further incorporates transductive pseudo-label training, three EEG-Conformer members, posterior aggregation, and a paradigm-aware decoder. Because every 12-trial randomization block contains three instances of each class, the final predictions are obtained by Hungarian assignment under the known block quota. On one fixed posterior pool, independent, session-constrained, and block-constrained decoding achieve 0.7600, 0.7758, and 0.7952 overall accuracy, respectively. The complete system reaches 0.8498/0.7718/0.7952, ranking fourth on the private split. A modality audit finds fNIRS-only decoding at chance (0.2511 overall), while adding fNIRS to EEG changes accuracy by only +0.0025. These results identify frequency-diverse temporal EEG modeling and protocol-matched structured inference as the principal sources of performance in this sparse-montage EEG--fNIRS setting. The source code is available at https://github.com/XiuFan719/EEG-fNIRS-fuse-method-for-MM-challenge.