Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling
作者: Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang
分类: cs.RO, cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出成本感知选择性推理框架以解决驾驶员监控中的安全性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 驾驶员监控 多模态融合 选择性推理 生理信号 安全性 自动驾驶 风险感知
📋 核心要点
- 现有方法在驾驶员监控中面临延迟和可靠性不足的问题，无法有效应对不确定的驾驶员状态。
- 本文提出了一种成本感知选择性推理框架，结合视觉观察和生理信号，通过学习的门控机制提高安全性。
- 实验结果显示，RGB-生理信号模型在驾驶员需求识别上达到了0.7440的Macro-F1和0.9099的平衡准确率，显著提升了性能。
📝 摘要（中文）
在自动驾驶车辆中，持续的驾驶员监控需要低延迟推理，同时避免在不确定的驾驶员状态下做出不安全的决策。大型视觉-语言模型虽然提供了广泛的多模态先验，但其延迟和可靠性限制使其不适合作为始终在线的车内监控工具。本文提出了一种成本感知选择性推理框架，核心系统是一个轻量级的RGB-生理信号模型，结合车内视觉观察与窗口级心率/EDA信号，并通过学习的门控机制决定何时接受快速预测或进行安全干预。实验结果表明，该方法在驾驶员需求识别上显著优于RGB或生理信号单独使用的基线，且在保持部署级延迟的同时，减少了不安全的假阴性率。
🔬 方法详解
问题定义：本文旨在解决自动驾驶车辆中驾驶员监控的延迟和不安全决策问题。现有方法在不确定的驾驶员状态下，容易导致不可靠的监控结果。
核心思路：提出了一种成本感知选择性推理框架，通过结合车内视觉观察与生理信号，利用学习的门控机制来决定何时进行快速预测或安全干预，从而提高监控的安全性与可靠性。
技术框架：整体架构包括RGB-生理信号模型和驾驶员状态世界建模模块。前者负责实时监控，后者则用于预测驾驶员状态及未来模型误差。
关键创新：最重要的技术创新在于引入了学习的门控机制和驾驶员状态世界建模模块，使得系统能够在不确定性较高的情况下做出更安全的决策，与现有方法相比，显著提高了监控的安全性。
关键设计：模型参数设置为11.39M，推理延迟为3.08ms。损失函数设计考虑了安全性与准确性之间的权衡，网络结构则结合了视觉和生理信号的特征提取能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RGB-生理信号模型在驾驶员需求识别上达到了0.7440的Macro-F1和0.9099的平衡准确率，相较于传统的RGB或生理信号单独使用的基线，显著提升了性能。此外，成本感知选择性推理将不安全的假阴性率从17.37%降低至约5%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶车辆、智能交通系统和驾驶员健康监测等。通过提高驾驶员监控的安全性和可靠性，能够有效减少交通事故的发生，提升自动驾驶技术的实际应用价值。未来，该技术有望在更广泛的智能交通场景中得到应用，推动交通安全的进步。
📄 摘要（原文）
Continuous driver monitoring in automated vehicles requires low-latency inference while avoiding unsafe decisions under uncertain driver states. Large vision-language models provide broad multimodal priors, but their latency and limited reliability in this setting make them unsuitable as always-on in-cabin monitors. We propose a cost-aware selective inference framework for deployable multimodal driver monitoring. The core system is a lightweight RGB-physiological student that combines in-cabin visual observations with window-level HR/EDA signals, and a learned gate that decides when to accept the fast prediction or abstain for safety intervention. Additional controls show that the learned scores contain sample-level information beyond scenario priors, while exact physiological synchronization remains a limitation. To incorporate predictive evidence, we further study a compact driver-state world modeling module that rolls out latent driver-state features and estimates future fast-model errors and counterfactual system-level action costs. On scenario-induced driver-demand recognition, the RGB-physiological student improves over RGB-only and physiology-only baselines, reaching 0.7440 Macro-F1 and 0.9099 balanced accuracy with 11.39M parameters and 3.08ms inference latency. Cost-aware selective inference reduces unsafe false negatives from 17.37% under always-fast inference to approximately 5% across seeds, while maintaining deployment-level latency. While driver-state world modeling offers valuable predictive signals, worst-group evaluations highlight persistent operating-point calibration drift. Ultimately, reliable edge driver monitoring requires advancing not only perception backbones, but also risk-aware selective control and group-robust calibration.