Mind the Student: Behavioral and Contextual Cues for Automated Engagement Prediction in Online Learning
作者: Alperen Kantarci, Visvanathan Ramesh, Gemma Roig
分类: cs.CV, cs.AI, cs.HC, cs.LG
发布日期: 2026-08-25
备注: Accepted to ICMI 2026 (International Conference on Multimodal Interaction), October 5-9, 2026, Napoli, Italy. 5 pages, 1 figures
💡 一句话要点
提出多模态框架以解决在线学习中学生参与度预测问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线学习 学生参与度 多模态融合 不确定性预测 个性化学习
📋 核心要点
- 现有方法在预测学生参与度时面临高个体变异性和标注主观性的问题，导致准确性不足。
- 论文提出了一种多模态框架，结合视频、音频和图像特征以及结构化行为模态，以提高参与度预测的准确性。
- 在CASED挑战测试集上，尽管所有参与方法接近随机表现，所提框架仍展现出竞争力，并提供良好的不确定性度量。
📝 摘要（中文）
学生参与度的预测在在线辅导视频中是一项复杂的任务，因为参与度是一个多维构造，包含不同的行为、情感和认知状态。通过对CASED数据集的分析，我们发现由于个体间的高变异性和参与度标注的主观性，预测的难度进一步增加。为应对这些挑战，我们开发了一种多模态框架，整合了从预训练视频、音频和图像编码器中提取的隐式时空特征，以及头部姿态、注视、面部动作单元、情感和基于小波的音频特征等结构化行为模态。我们通过Perceiver IO潜在瓶颈整合这些模态，并将学生和教师的个性建模为可学习嵌入的变分后验，以实现参与者之间的部分汇聚。我们采用证据回归和谱归一化高斯过程分类头进行不确定性感知预测，以进一步提高鲁棒性和校准性。
🔬 方法详解
问题定义：本论文旨在解决在线学习中学生参与度的预测问题。现有方法面临个体间的高变异性和参与度标注的主观性，导致预测准确性不足。
核心思路：论文提出了一种多模态框架，整合了多种行为信号和表达线索，以提高参与度预测的可靠性。通过建模学生和教师的个性，增强了模型的适应性和准确性。
技术框架：整体架构包括从视频、音频和图像编码器提取的隐式时空特征，以及结构化行为模态（如头部姿态、注视等）。这些模态通过Perceiver IO潜在瓶颈进行整合，并使用证据回归和高斯过程分类头进行不确定性感知预测。
关键创新：最重要的创新在于将多种模态特征进行有效整合，并通过变分后验建模个性，从而实现参与者之间的部分汇聚，提升了模型的鲁棒性和校准性。
关键设计：采用了证据回归和谱归一化高斯过程分类头，确保了不确定性预测的可靠性。同时，设计了适应性强的损失函数，以优化模型性能。
🖼️ 关键图片
📊 实验亮点
在CASED挑战测试集上，尽管所有参与方法的表现接近随机水平，所提框架仍然实现了竞争力的性能，并提供了良好的不确定性度量。这表明该方法在高度模糊的环境中具备可靠的风险量化能力，为实际应用奠定了基础。
🎯 应用场景
该研究的潜在应用领域包括在线教育平台、智能辅导系统和学习分析工具。通过准确预测学生的参与度，教育工作者可以更好地调整教学策略，提高学习效果，最终促进个性化学习的发展。未来，该框架有望在实际教育工具中得到广泛应用，提升在线学习体验。
📄 摘要（原文）
The prediction of student engagement from the online tutoring videos is difficult because engagement is a multidimensional construct comprising distinct behavioral, emotional, and cognitive states. A reliable prediction requires bringing together different types of behavioral signals as well as expressive cues. Through our analysis of the CASED dataset, it is clear that engagement prediction gets even harder due to the high inter-person variability as well as the subjectivity of the engagement annotation. To tackle these challenges, we develop a multimodal framework that integrates the implicit spatiotemporal features extracted from pretrained video, audio, and image encoders along with structured behavioral modalities like head pose, gaze, facial action units, emotion, and wavelet-based audio features. We integrate these modalities via a Perceiver IO latent bottleneck. Moreover, student and instructor personalities are modeled as variational posteriors over learnable embeddings to enable partial pooling across participants. We employ evidential regression and spectral-normalized Gaussian process classification heads for uncertainty-aware prediction to further improve robustness and calibration. Benchmark on the CASED challenge test set shows that all participating methods converge near random-chance performance, revealing the difficulty of the dataset. In this highly ambiguous regime, our framework achieves competitive performance while uniquely offering well-calibrated uncertainty metrics, demonstrating that reliable risk-quantification is an essential prerequisite for deploying engagement models in real-world educational tools.