CLARE: Cognitive Load Assessment in REaltime with Multimodal Data

📄 arXiv: 2404.17098v2 📥 PDF

作者: Anubhav Bhatti, Prithila Angkan, Behnam Behinaein, Zunayed Mahmud, Dirk Rodenburg, Heather Braund, P. James Mclellan, Aaron Ruberto, Geoffery Harrison, Daryl Wilson, Adam Szulewski, Dan Howes, Ali Etemad, Paul Hungler

分类: cs.HC, cs.AI

发布日期: 2024-04-26 (更新: 2025-08-31)

备注: 13 pages, 10 figures, 6 tables

期刊: IEEE Transactions on Cognitive and Developmental Systems, 2025

DOI: 10.1109/TCDS.2025.3555517

💡 一句话要点

提出CLARE以实时评估认知负荷问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知负荷评估 多模态数据 生理信号 卷积神经网络 实时监测 机器学习 深度学习

📋 核心要点

  1. 现有方法在实时评估认知负荷方面存在准确性不足和数据模态单一的问题。
  2. 论文提出了CLARE数据集，结合生理信号和注视数据，旨在提高认知负荷评估的准确性和实时性。
  3. 实验结果表明，使用CNN模型在10折交叉验证中取得最佳分类性能，展示了多模态数据的有效性。

📝 摘要（中文）

我们提出了一种新颖的多模态数据集CLARE，用于实时认知负荷评估。该数据集包含24名参与者的生理和注视数据，并以自我报告的认知负荷评分作为真实标签。数据集包括四种模态：心电图（ECG）、皮肤电活动（EDA）、脑电图（EEG）和注视追踪。参与者在计算机上完成四个九分钟的任务，报告其认知负荷。我们还提供了基于机器学习和深度学习模型的基准二分类结果，显示卷积神经网络（CNN）在10折交叉验证中表现最佳，而在留一法交叉验证中，ECG、EDA和EEG的深度学习模型表现最佳。

🔬 方法详解

问题定义：本论文旨在解决实时认知负荷评估的准确性不足和数据模态单一的问题。现有方法往往依赖于单一模态数据，导致评估结果的局限性。

核心思路：论文的核心思路是构建一个多模态数据集CLARE，结合生理信号（ECG、EDA、EEG）和注视数据，以全面捕捉参与者的认知负荷状态。通过多模态融合，提升评估的准确性和实时性。

技术框架：整体架构包括数据采集、数据预处理、特征提取和模型训练四个主要模块。数据采集阶段收集参与者的生理信号和注视数据，随后进行预处理以去除噪声，接着提取特征并输入到机器学习和深度学习模型进行训练和评估。

关键创新：最重要的技术创新点在于构建了一个包含多种生理信号和注视数据的综合数据集CLARE，突破了传统单一模态评估的局限，提供了更全面的认知负荷评估手段。

关键设计：在模型设计上，采用卷积神经网络（CNN）进行特征学习，设置了适当的损失函数以优化分类性能。实验中使用了10折交叉验证和留一法交叉验证两种评估方案，确保了结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在10折交叉验证中，基于CNN的深度学习模型在使用ECG、EDA和注视数据时取得了最佳分类性能，而在留一法交叉验证中，使用ECG、EDA和EEG的深度学习模型表现最佳。这表明多模态数据的结合显著提升了认知负荷评估的准确性。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人机交互等。通过实时评估认知负荷，能够帮助教育工作者优化教学方法，提升学习效果。同时，在人机交互中，可以根据用户的认知负荷动态调整系统反馈，提高用户体验。未来，该技术可能在智能助手和虚拟现实等领域发挥重要作用。

📄 摘要（原文）

We present a novel multimodal dataset for Cognitive Load Assessment in REal-time (CLARE). The dataset contains physiological and gaze data from 24 participants with self-reported cognitive load scores as ground-truth labels. The dataset consists of four modalities, namely, Electrocardiography (ECG), Electrodermal Activity (EDA), Electroencephalogram (EEG), and Gaze tracking. To map diverse levels of mental load on participants during experiments, each participant completed four nine-minutes sessions on a computer-based operator performance and mental workload task (the MATB-II software) with varying levels of complexity in one minute segments. During the experiment, participants reported their cognitive load every 10 seconds. For the dataset, we also provide benchmark binary classification results with machine learning and deep learning models on two different evaluation schemes, namely, 10-fold and leave-one-subject-out (LOSO) cross-validation. Benchmark results show that for 10-fold evaluation, the convolutional neural network (CNN) based deep learning model achieves the best classification performance with ECG, EDA, and Gaze. In contrast, for LOSO, the best performance is achieved by the deep learning model with ECG, EDA, and EEG.