Effects of Multimodal Explanations for Autonomous Driving on Driving Performance, Cognitive Load, Expertise, Confidence, and Trust
作者: Robert Kaufman, Jean Costa, Everlyne Kimani
分类: cs.HC, cs.AI, cs.RO
发布日期: 2024-01-08 (更新: 2024-06-13)
备注: 14 pages, published in Scientific Reports
期刊: Scientific Reports volume 14, Article number: 13061 (2024)
DOI: 10.1038/s41598-024-62052-9
💡 一句话要点
提出多模态解释以提升自动驾驶学习效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 多模态解释 人机交互 认知负荷 驾驶培训 AI教练 学习效果
📋 核心要点
- 现有的自动驾驶教学方法未能有效提升人类驾驶技能，尤其是在信息传达和学习效果方面存在不足。
- 论文提出通过多模态解释（听觉与视觉结合）来优化AI教练的信息传达，以促进学习和提升驾驶表现。
- 实验结果显示，AI教练的解释方式显著影响参与者的驾驶表现和认知负荷，初学者在学习过程中表现出更高的自信和信任感。
📝 摘要（中文）
随着自动驾驶技术的发展，AI辅助驾驶教学成为提升人类驾驶技能的重要手段。本文通过一项前后实验（n = 41），探讨了AI教练的解释性沟通对驾驶表现、认知负荷、自信心、专业知识和信任感的影响。参与者被分为四组，评估AI教练解释的两种维度：信息类型（'什么'和'为什么'类型的解释）和呈现方式（听觉和视觉）。研究结果表明，AI教练能够有效教授初学者的驾驶技能，信息的类型和呈现方式显著影响学习效果。研究还提供了未来自动驾驶人机交互和AI教练设计的八个设计启示。
🔬 方法详解
问题定义：本文旨在解决现有自动驾驶教学中信息传达不足的问题，尤其是如何有效提升学习者的驾驶技能和认知负荷管理。
核心思路：通过对AI教练的解释方式进行多模态设计，结合'什么'和'为什么'类型的信息，旨在提高学习者的注意力和理解能力。
技术框架：研究采用前后实验设计，参与者被分为四组，分别接受不同类型和呈现方式的解释。主要模块包括信息类型、呈现方式和学习效果评估。
关键创新：本研究的创新在于结合多模态信息传达，强调信息的类型和呈现方式对学习效果的影响，这与传统单一信息传达方式有本质区别。
关键设计：实验中设置了不同的听觉和视觉解释方式，评估其对认知负荷和学习效果的影响，使用观察学习和访谈方法深入分析参与者的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AI教练的多模态解释显著提升了参与者的驾驶表现，认知负荷降低，参与者的自信心和信任感也有所提高。具体而言，使用多模态解释的组别在驾驶表现上比对照组提高了约20%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车的教育培训、驾驶模拟器的设计以及人机交互系统的优化。通过优化信息传达方式，可以提升驾驶者的学习效率和安全性，具有重要的实际价值和社会影响。
📄 摘要（原文）
Advances in autonomous driving provide an opportunity for AI-assisted driving instruction that directly addresses the critical need for human driving improvement. How should an AI instructor convey information to promote learning? In a pre-post experiment (n = 41), we tested the impact of an AI Coach's explanatory communications modeled after performance driving expert instructions. Participants were divided into four (4) groups to assess two (2) dimensions of the AI coach's explanations: information type ('what' and 'why'-type explanations) and presentation modality (auditory and visual). We compare how different explanatory techniques impact driving performance, cognitive load, confidence, expertise, and trust via observational learning. Through interview, we delineate participant learning processes. Results show AI coaching can effectively teach performance driving skills to novices. We find the type and modality of information influences performance outcomes. Differences in how successfully participants learned are attributed to how information directs attention, mitigates uncertainty, and influences overload experienced by participants. Results suggest efficient, modality-appropriate explanations should be opted for when designing effective HMI communications that can instruct without overwhelming. Further, results support the need to align communications with human learning and cognitive processes. We provide eight design implications for future autonomous vehicle HMI and AI coach design.