From Detection to Anticipation: Online Understanding of Struggles across Various Tasks and Activities

📄 arXiv: 2512.09847v1 📥 PDF

作者: Shijia Feng, Michael Wray, Walterio Mayol-Cuevas

分类: cs.CV

发布日期: 2025-12-10

备注: Accepted by WACV 2026

💡 一句话要点

提出在线挣扎检测与预测框架，助力实时辅助系统理解人类技能表现

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 在线挣扎检测 挣扎预测 实时辅助系统 技能表现理解 行为识别

📋 核心要点

  1. 现有挣扎识别方法主要集中于离线处理，无法满足实时辅助系统的需求。
  2. 本文将挣扎定位转化为在线检测任务，并进一步提出挣扎预测，提前预判用户困难。
  3. 实验表明，该方法在在线挣扎检测和预测上表现良好，且具有一定的跨任务泛化能力。

📝 摘要（中文）

理解人类技能表现对于智能辅助系统至关重要，而挣扎识别是识别用户困难的自然线索。现有工作主要集中于离线挣扎分类和定位，但实时应用需要能够在线检测和预测挣扎的模型。本文将挣扎定位重新定义为在线检测任务，并进一步扩展到挣扎预测，即在挣扎发生前预测挣扎时刻。本文调整了两种现成的模型作为在线挣扎检测和预测的基线。在线挣扎检测实现了70-80%的逐帧mAP，而提前2秒的挣扎预测也取得了相当的性能，略有下降。本文进一步研究了跨任务和活动的泛化能力，并分析了技能演变的影响。尽管活动层面的泛化存在较大的领域差距，但模型仍然优于随机基线4-20%。基于特征的模型运行速度高达143 FPS，包括特征提取在内的整个流程运行速度约为20 FPS，足以满足实时辅助应用的需求。

🔬 方法详解

问题定义：现有挣扎识别方法主要关注离线场景，无法满足实时辅助系统的需求。这些方法通常需要完整的视频序列才能进行分析，无法在用户操作过程中实时提供反馈和帮助。因此，如何设计一种能够在线检测和预测挣扎的模型，是本文要解决的关键问题。

核心思路：本文的核心思路是将挣扎定位问题转化为在线检测和预测问题。通过提取视频帧的特征，并利用这些特征来实时判断当前帧是否包含挣扎，以及预测未来一段时间内是否会发生挣扎。这种方法允许系统在用户遇到困难时立即做出反应，提供及时的帮助和指导。

技术框架：本文的技术框架主要包括特征提取、在线挣扎检测和在线挣扎预测三个模块。首先，从视频帧中提取相关的视觉特征，例如人体姿态、物体交互等。然后，利用这些特征训练在线挣扎检测模型，用于实时判断当前帧是否包含挣扎。最后，训练在线挣扎预测模型，用于预测未来一段时间内是否会发生挣扎。整个流程可以实时运行，为用户提供及时的辅助。

关键创新：本文最重要的技术创新点在于将挣扎识别问题从离线场景扩展到在线场景，并提出了挣扎预测的概念。与现有方法相比，本文的方法能够实时检测和预测挣扎，为实时辅助系统提供了可能。此外，本文还研究了跨任务和活动的泛化能力，以及技能演变的影响，为实际应用提供了有价值的参考。

关键设计：本文采用了现成的模型作为在线挣扎检测和预测的基线，并对其进行了调整以适应在线场景。具体来说，本文使用了基于特征的模型，并优化了特征提取和模型推理的效率，以满足实时性的要求。此外，本文还设计了相应的损失函数，用于训练在线挣扎检测和预测模型。模型的具体参数设置和网络结构在论文中有详细描述。

📊 实验亮点

实验结果表明，本文提出的方法在在线挣扎检测中实现了70-80%的逐帧mAP，在提前2秒的挣扎预测中也取得了相当的性能。此外，该方法在跨任务和活动的泛化能力方面也表现出一定的优势，优于随机基线4-20%。值得一提的是，该方法在特征提取和模型推理方面进行了优化，实现了高达143 FPS的运行速度，满足了实时应用的需求。

🎯 应用场景

该研究成果可应用于多种智能辅助系统，例如：康复训练系统，通过实时检测患者的挣扎，提供个性化的指导和调整；远程协助系统，帮助专家远程指导新手完成复杂任务；智能家居系统，监测老年人的日常活动，及时发现异常情况并提供帮助。该研究有助于提高人机交互的效率和安全性，具有广阔的应用前景。

📄 摘要（原文）

Understanding human skill performance is essential for intelligent assistive systems, with struggle recognition offering a natural cue for identifying user difficulties. While prior work focuses on offline struggle classification and localization, real-time applications require models capable of detecting and anticipating struggle online. We reformulate struggle localization as an online detection task and further extend it to anticipation, predicting struggle moments before they occur. We adapt two off-the-shelf models as baselines for online struggle detection and anticipation. Online struggle detection achieves 70-80% per-frame mAP, while struggle anticipation up to 2 seconds ahead yields comparable performance with slight drops. We further examine generalization across tasks and activities and analyse the impact of skill evolution. Despite larger domain gaps in activity-level generalization, models still outperform random baselines by 4-20%. Our feature-based models run at up to 143 FPS, and the whole pipeline, including feature extraction, operates at around 20 FPS, sufficient for real-time assistive applications.