Exploring the dynamic interplay of cognitive load and emotional arousal by using multimodal measurements: Correlation of pupil diameter and emotional arousal in emotionally engaging tasks

📄 arXiv: 2403.00366v1 📥 PDF

作者: C. Kosel, S. Michel, T. Seidel, M. Foerster

分类: cs.CY, cs.CV

发布日期: 2024-03-01

备注: The first two authors contributed equally to the manuscript

💡 一句话要点

通过多模态测量探讨认知负荷与情感唤起的动态关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态测量 认知负荷 情感唤起 眼动追踪 面部动作编码 深度学习 教育研究 情感计算

📋 核心要点

  1. 现有研究多依赖单一数据源，未能全面揭示认知负荷与情感唤起之间的复杂关系。
  2. 本研究通过结合眼动追踪与情感识别技术，探讨两者在不同情感唤起阶段的相关性及时间延迟。
  3. 实验结果表明，在高情感唤起阶段，瞳孔直径与情感唤起之间存在显著的负相关，推动了多模态研究的发展。

📝 摘要（中文）

本研究基于先进的传感器技术，如眼动追踪和面部动作编码系统（FACTs）结合深度学习，分析多模态数据，以研究学习和问题解决过程中的复杂性。研究旨在探讨瞳孔直径与情感唤起之间的相关性，特别是在高、中、低唤起阶段的表现。此外，还分析了情感唤起与瞳孔直径数据之间的时间延迟。结果显示，在高唤起阶段，情感唤起与瞳孔直径之间存在显著的负相关关系，而在中、低唤起阶段则未发现显著相关性。平均时间延迟为2.8毫秒。与以往研究不同，本研究强调了多模态数据验证的重要性，并提出未来研究应考虑情感调节策略和情感效价。

🔬 方法详解

问题定义：本研究旨在解决认知负荷与情感唤起之间关系的复杂性，现有方法往往忽视多模态数据的结合，导致结果片面。

核心思路：通过结合眼动追踪和面部动作编码系统（FACTs），研究者能够同时捕捉认知负荷和情感唤起的动态变化，从而提供更全面的分析视角。

技术框架：研究流程包括数据收集（眼动追踪和情感识别）、数据预处理（同步、眨眼控制、降采样）以及数据分析（相关性分析和Granger因果检验）。

关键创新：本研究的创新在于采用多模态数据分析，揭示了在高情感唤起阶段瞳孔直径与情感唤起之间的负相关关系，挑战了以往单一数据源的研究结果。

关键设计：研究中使用Python进行数据预处理，采用相关性分析和Granger因果检验来分析数据流之间的关系，确保了结果的可靠性和有效性。

📊 实验亮点

实验结果显示，在高情感唤起阶段，瞳孔直径与情感唤起之间存在显著的负相关关系，平均时间延迟为2.8毫秒。这一发现与以往研究相悖，强调了多模态数据分析的重要性，为未来研究提供了新的视角。

🎯 应用场景

该研究的结果可广泛应用于教育心理学、情感计算和人机交互等领域。通过理解认知负荷与情感唤起的关系，教育者和设计师可以优化学习环境和工具，提升学习效果和用户体验。未来，研究还可以扩展到情感调节策略的应用，进一步丰富情感与认知的交互研究。

📄 摘要（原文）

Multimodal data analysis and validation based on streams from state-of-the-art sensor technology such as eye-tracking or emotion recognition using the Facial Action Coding System (FACTs) with deep learning allows educational researchers to study multifaceted learning and problem-solving processes and to improve educational experiences. This study aims to investigate the correlation between two continuous sensor streams, pupil diameter as an indicator of cognitive workload and FACTs with deep learning as an indicator of emotional arousal (RQ 1a), specifically for epochs of high, medium, and low arousal (RQ 1b). Furthermore, the time lag between emotional arousal and pupil diameter data will be analyzed (RQ 2). 28 participants worked on three cognitively demanding and emotionally engaging everyday moral dilemmas while eye-tracking and emotion recognition data were collected. The data were pre-processed in Phyton (synchronization, blink control, downsampling) and analyzed using correlation analysis and Granger causality tests. The results show negative and statistically significant correlations between the data streams for emotional arousal and pupil diameter. However, the correlation is negative and significant only for epochs of high arousal, while positive but non-significant relationships were found for epochs of medium or low arousal. The average time lag for the relationship between arousal and pupil diameter was 2.8 ms. In contrast to previous findings without a multimodal approach suggesting a positive correlation between the constructs, the results contribute to the state of research by highlighting the importance of multimodal data validation and research on convergent vagility. Future research should consider emotional regulation strategies and emotional valence.