Toward Scalable and Transparent Multimodal Analytics to Study Standard Medical Procedures: Linking Hand Movement, Proximity, and Gaze Data
作者: Ville Heilala, Sami Lehesvuori, Raija Hämäläinen, Tommi Kärkkäinen
分类: cs.AI, cs.CY, cs.HC, cs.LG
发布日期: 2023-12-08
备注: To be published in the Proceedings of the 39th ACM/SIGAPP Symposium on Applied Computing (SAC'24), April 8--12, 2024, Avila, Spain
💡 一句话要点
利用多模态学习分析提升医疗程序评估的可扩展性和透明度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习分析 医学教育 程序评估 眼动追踪 手部运动分析
📋 核心要点
- 传统医学程序评估缺乏客观性和细粒度，难以有效识别学习者的行为模式和潜在问题。
- 该研究提出利用多模态学习分析（MMLA），整合眼动追踪、手部运动和接近度数据，以更全面地评估程序执行。
- 实验结果表明，MMLA能够识别ABCDE程序中的关键阶段，并揭示不同阶段的行为特征，为能力评估提供客观依据。
📝 摘要（中文）
本研究采用多模态学习分析（MMLA）来分析护理教育中ABCDE程序的行为动态，重点关注视线熵、手部运动速度和接近度测量。利用加速度计和眼动追踪技术，生成行为图来描绘不同的程序阶段。结果确定了四个主要阶段，这些阶段的特征是不同的视觉注意力、手部运动以及与患者或仪器的接近程度模式。研究结果表明，MMLA可以为医学教育中的程序能力提供有价值的见解。这项研究强调了MMLA在提供临床程序及其内在复杂性的详细、客观评估方面的潜力。
🔬 方法详解
问题定义：现有医学程序评估方法依赖主观观察和经验判断，缺乏客观量化指标，难以捕捉操作过程中的细微行为差异。这使得评估结果可能存在偏差，并且难以提供针对性的反馈，阻碍了学习者的技能提升。
核心思路：该研究的核心思路是利用多模态数据融合，将眼动追踪、手部运动和接近度信息整合起来，构建一个更全面、客观的行为评估体系。通过分析这些模态数据的模式和关联性，可以更准确地识别程序执行的关键阶段和潜在问题。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据采集：使用加速度计和眼动追踪设备收集手部运动、视线和接近度数据。2) 数据预处理：对原始数据进行清洗、校准和同步处理。3) 特征提取：从多模态数据中提取关键特征，如视线熵、手部运动速度和与患者/仪器的距离。4) 行为图生成：利用提取的特征构建行为图，可视化程序执行过程中的行为动态。5) 阶段识别：通过分析行为图中的模式，识别不同的程序阶段。
关键创新：该研究的关键创新在于将多模态学习分析应用于医学程序评估，并提出了一种基于行为图的阶段识别方法。与传统的评估方法相比，该方法能够提供更客观、细粒度的评估结果，并揭示程序执行过程中的潜在问题。
关键设计：研究中，加速度计用于捕捉手部运动的速度和加速度，眼动追踪技术用于记录视线位置和注视时间。接近度通过计算操作者与患者或仪器之间的距离来衡量。视线熵被用作衡量视觉注意力的指标，反映了视觉搜索的复杂程度。行为图的设计旨在可视化不同模态数据之间的关联性，从而帮助识别程序执行的关键阶段。
📊 实验亮点
研究结果表明，MMLA能够有效识别ABCDE程序中的四个主要阶段，并揭示不同阶段的行为特征。例如，在评估阶段，医护人员的视线熵显著降低，表明视觉注意力更加集中。通过分析手部运动速度和接近度，可以评估操作的熟练程度和安全性。这些发现为程序能力评估提供了客观依据。
🎯 应用场景
该研究成果可应用于医学教育、临床技能培训和医疗质量控制等领域。通过客观评估医护人员的操作技能，可以提高培训效果，减少医疗事故，并最终提升患者的治疗效果。未来，该方法可以扩展到其他类型的医疗程序和更广泛的技能评估场景。
📄 摘要（原文）
This study employed multimodal learning analytics (MMLA) to analyze behavioral dynamics during the ABCDE procedure in nursing education, focusing on gaze entropy, hand movement velocities, and proximity measures. Utilizing accelerometers and eye-tracking techniques, behaviorgrams were generated to depict various procedural phases. Results identified four primary phases characterized by distinct patterns of visual attention, hand movements, and proximity to the patient or instruments. The findings suggest that MMLA can offer valuable insights into procedural competence in medical education. This research underscores the potential of MMLA to provide detailed, objective evaluations of clinical procedures and their inherent complexities.