AI-based Multimodal Biometrics for Detecting Smartphone Distractions: Application to Online Learning
作者: Alvaro Becerra, Roberto Daza, Ruth Cobos, Aythami Morales, Mutlu Cukurova, Julian Fierrez
分类: cs.CY, cs.AI, cs.CV, cs.HC
发布日期: 2025-06-20 (更新: 2025-06-24)
备注: Accepted in EC-TEL25: 20th European Conference on Technology Enhanced Learning, Newcastle and Durham, UK, 15-19 September 2025
💡 一句话要点
提出多模态生物识别技术以解决在线学习中的手机干扰问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生物识别 在线学习 注意力检测 生理信号 头部姿态 人工智能 学习分析
📋 核心要点
- 现有学习平台缺乏详细的行为数据，难以有效监测学习者的注意力状态，尤其是在手机使用时。
- 论文提出了一种基于人工智能的多模态生物识别方法，结合生理信号和头部姿态数据来检测学习者的手机使用情况。
- 实验结果显示，单一生物信号的准确性有限，而多模态模型的准确率提升至91%，显著提高了检测效果。
📝 摘要（中文）
本研究探讨了多模态生物识别技术在检测智能手机使用导致的注意力分散方面的应用，特别关注计算机基础的在线学习场景。尽管这些方法适用于多个领域，如自动驾驶，但我们主要集中在学习者在内在（如动机）、系统相关（如课程设计）和情境（如手机使用）因素影响下保持参与度的挑战。传统学习平台往往缺乏详细的行为数据，而多模态学习分析（MMLA）和生物传感器为学习者的注意力提供了新的洞察。我们提出了一种基于人工智能的方法，利用生理信号和头部姿态数据来检测手机使用。实验结果表明，单一生物信号（如脑电波或心率）的准确性有限，而仅使用头部姿态的准确率达到87%。结合所有信号的多模态模型则达到了91%的准确率，突显了集成的优势。最后，我们讨论了这些模型在在线学习环境中实时支持的意义和局限性。
🔬 方法详解
问题定义：本研究旨在解决在线学习中由于智能手机使用导致的学习者注意力分散问题。现有方法往往依赖于传统的行为监测手段，缺乏对生理信号的有效利用，导致准确性不足。
核心思路：论文的核心解决思路是通过结合生理信号（如脑电波和心率）与头部姿态数据，构建一个多模态生物识别模型，以更全面地捕捉学习者的注意力状态。这样的设计能够更好地反映学习者的真实状态，提升检测准确性。
技术框架：整体架构包括数据采集、信号处理、特征提取和模型训练四个主要模块。首先，通过生物传感器收集生理信号和头部姿态数据；然后，对数据进行预处理和特征提取；接着，利用机器学习算法训练多模态模型；最后，进行实时检测和反馈。
关键创新：最重要的技术创新点在于将多种生物信号与头部姿态数据进行融合，形成一个综合的检测模型。这种集成方法相比于传统单一信号检测，显著提升了准确性和鲁棒性。
关键设计：在模型设计中，采用了特定的损失函数来优化多模态融合效果，并使用深度学习网络结构来处理复杂的生理信号。此外，关键参数如学习率和正则化系数经过多次实验调优，以确保模型的最佳性能。
📊 实验亮点
实验结果表明，单一生物信号的准确性有限，头部姿态检测准确率为87%。而结合所有信号的多模态模型达到了91%的准确率，显示出显著的性能提升。这一结果强调了多模态融合在注意力检测中的重要性。
🎯 应用场景
该研究的潜在应用领域包括在线学习平台、教育技术和心理健康监测等。通过实时监测学习者的注意力状态，教育工作者可以及时调整教学策略，提升学习效果。此外，该技术也可扩展至其他需要持续注意力的场景，如驾驶和医疗监护，具有广泛的实际价值和未来影响。
📄 摘要（原文）
This work investigates the use of multimodal biometrics to detect distractions caused by smartphone use during tasks that require sustained attention, with a focus on computer-based online learning. Although the methods are applicable to various domains, such as autonomous driving, we concentrate on the challenges learners face in maintaining engagement amid internal (e.g., motivation), system-related (e.g., course design) and contextual (e.g., smartphone use) factors. Traditional learning platforms often lack detailed behavioral data, but Multimodal Learning Analytics (MMLA) and biosensors provide new insights into learner attention. We propose an AI-based approach that leverages physiological signals and head pose data to detect phone use. Our results show that single biometric signals, such as brain waves or heart rate, offer limited accuracy, while head pose alone achieves 87%. A multimodal model combining all signals reaches 91% accuracy, highlighting the benefits of integration. We conclude by discussing the implications and limitations of deploying these models for real-time support in online learning environments.