MultiMental-IAS: A Multimodal Driver Mental State Analysis Dataset for Context-Aware Non-IID Evaluation

📄 arXiv: 2611.02790v1 📥 PDF

作者: Baran Can Gül, Nagendra Pal Singh, Anjana Arvind Naik

分类: cs.HC, cs.AI

发布日期: 2026-11-02

💡 一句话要点

提出MultiMental-IAS以解决驾驶员心理状态分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 驾驶员状态分析 生理信号 个性化模型 联邦学习 驾驶监控 上下文感知

📋 核心要点

  1. 现有的驾驶员状态建模方法通常只关注单一的认知状态，缺乏对连续车辆上下文的考虑，导致模型的鲁棒性不足。
  2. 本文提出了Multimental-IAS数据集，通过在模拟环境中收集多模态信号，提供了一个全面的驾驶员心理状态分析框架。
  3. 实验结果表明，多模态融合显著提升了模型性能，未见驾驶员的宏F1值从0.408提升至0.485，展示了个性化模型的必要性。

📝 摘要（中文）

稳健的驾驶员状态建模需要同步的生理、行为和上下文信号，但现有资源通常只针对单一认知状态，缺乏连续的车辆上下文，或未定义能够揭示个体间异质性的评估协议。本文提出了Multimental-IAS，这是一个在CARLA模拟环境中收集的多模态驾驶员心理状态数据集。该数据集包含车辆遥测、四通道EEG、三通道PPG和23名参与者的舱内视频，记录了148次试验（11.6小时），涵盖正常、分心、警觉、压力、放松和困倦六种状态。我们详细记录了数据采集流程，并提供了一个统一的基准评估协议。多模态融合在训练期间的驾驶员上达到了0.94的宏F1值，而在未见驾驶员上，融合驾驶动态与每窗口归一化的EEG/PPG将宏F1从0.408提升至0.485，体现了个体间异质性对个性化模型的挑战。Multimental-IAS为非独立同分布泛化、个性化和联邦学习提供了具体的测试平台。

🔬 方法详解

问题定义：本文旨在解决现有驾驶员心理状态分析方法的局限性，特别是缺乏对多种状态和连续上下文的综合考虑，导致模型在不同驾驶员间的泛化能力不足。

核心思路：通过构建一个包含多种生理和行为信号的多模态数据集，Multimental-IAS为驾驶员心理状态的分析提供了丰富的上下文信息，旨在提高模型的鲁棒性和泛化能力。

技术框架：数据采集采用了CARLA模拟环境，记录了车辆遥测、EEG、PPG和舱内视频。评估协议包括按时间顺序的内部划分、跨参与者的分离折叠、基于验证的模型选择，以及对不同模态和信号归一化的消融实验。

关键创新：Multimental-IAS的主要创新在于其多模态数据的综合利用和评估协议的设计，能够有效揭示个体间的异质性，并为个性化模型提供支持。

关键设计：在模型训练中，采用了多模态融合策略，使用了归一化的EEG和PPG信号，设计了适应不同驾驶员的模型选择流程，确保了评估的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在训练期间的驾驶员上，多模态融合达到了0.94的宏F1值，而在未见驾驶员上，宏F1值从0.408提升至0.485，表明该方法在处理个体间异质性方面的有效性，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能驾驶、驾驶员监控和人机交互等。通过提供一个全面的多模态数据集，研究者可以开发出更为精准的驾驶员状态监测系统，从而提升驾驶安全性和用户体验。未来，该数据集还可能推动个性化驾驶辅助系统和联邦学习的研究进展。

📄 摘要（原文）

Robust driver-state modelling requires synchronized physiological, behavioural, and contextual signals, yet existing open resources typically target a single cognitive state, omit continuous vehicle context, or do not define evaluation protocols that expose inter-subject heterogeneity. We present Multimental-IAS, a multimodal driver mental-state dataset collected in a cockpit-in-the-loop simulation built on CARLA. It contains vehicle telemetry with scenario-context channels, four-channel EEG and three-channel PPG from a Muse 2 headband, and cabin-facing video from 23 participants, recorded in 148 trials (11.6 hours) under six induced states: Normal, Distracted, Alerted, Stressed, Relaxed, and Drowsy. We document the acquisition pipeline in detail and provide a benchmark with one protocol for all models: chronological within-subject splits, participant-disjoint cross-subject folds, validation-based model selection, and ablations over modalities, scenario-context channels, and signal normalization. Multimodal fusion reaches a macro-F1 of 0.94 for drivers seen during training. For unseen drivers, fusing driving dynamics with per-window normalized EEG/PPG raises macro-F1 from 0.408 (telemetry alone) to 0.485, consistently across all five folds, while the gap between the two protocols quantifies the inter-driver heterogeneity that personalized models must address. Multimental-IAS thus provides a concrete testbed for non-IID generalization, personalization, and federated learning in driver monitoring.