Group Activity Recognition using Unreliable Tracked Pose

📄 arXiv: 2401.03262v1 📥 PDF

作者: Haritha Thilakarathne, Aiden Nibali, Zhen He, Stuart Morgan

分类: cs.CV

发布日期: 2024-01-06

💡 一句话要点

提出RePGARS以解决群体活动识别中的跟踪不可靠问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 群体活动识别 深度学习 姿态估计 不可靠跟踪 视频分析

📋 核心要点

  1. 现有群体活动识别方法高度依赖于高质量的跟踪信息，且仅在真实跟踪下进行评估，限制了其实际应用。
  2. 本文提出的RePGARS方法能够容忍不可靠的跟踪和姿态信息，从而提高群体活动识别的鲁棒性。
  3. 实验结果显示，RePGARS在不依赖真实检测和跟踪信息的情况下，显著优于现有算法，提升了识别准确率。

📝 摘要（中文）

群体活动识别在视频中是一项复杂的任务，需要模型识别视频中所有个体的动作及其复杂的交互。现有研究表明，最佳性能依赖于对每个人的单独跟踪，并将姿态序列或裁剪图像输入模型。然而，所有现有模型高度依赖高质量的跟踪信息，并且仅在真实跟踪信息下进行评估。在实际应用中，几乎不可能为群体活动视频中的所有个体获得高度可靠的跟踪信息。本文提出了一种创新的深度学习群体活动识别方法——基于渲染姿态的群体活动识别系统（RePGARS），旨在容忍不可靠的跟踪和姿态信息。实验结果表明，RePGARS在不使用真实检测和跟踪信息的情况下，超越了所有现有的群体活动识别算法。

🔬 方法详解

问题定义：本文解决的是群体活动识别中的跟踪不可靠问题。现有方法依赖于高质量的跟踪信息，导致在实际应用中效果不佳。

核心思路：RePGARS的核心思路是设计一个能够容忍不可靠跟踪和姿态信息的深度学习模型，从而提高群体活动识别的准确性和鲁棒性。

技术框架：RePGARS的整体架构包括数据预处理、姿态渲染、特征提取和活动分类等主要模块。首先对视频进行处理，提取个体的姿态信息，然后将这些信息输入到深度学习模型中进行活动分类。

关键创新：RePGARS的最大创新在于其对不可靠跟踪信息的容忍能力，与传统方法相比，能够在缺乏真实跟踪信息的情况下仍然实现高效的活动识别。

关键设计：在模型设计上，RePGARS采用了特定的损失函数来优化不确定性，并使用了改进的卷积神经网络结构，以增强对姿态信息的提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RePGARS在不使用真实检测和跟踪信息的情况下，识别准确率显著提升，超越了所有现有的群体活动识别算法，展示了其在复杂场景下的优越性能。

🎯 应用场景

该研究的潜在应用领域包括智能监控、社交行为分析和人机交互等。通过提高群体活动识别的准确性，RePGARS可以在公共安全、交通管理和社交媒体分析等多个领域发挥重要作用，具有显著的实际价值和未来影响。

📄 摘要（原文）

Group activity recognition in video is a complex task due to the need for a model to recognise the actions of all individuals in the video and their complex interactions. Recent studies propose that optimal performance is achieved by individually tracking each person and subsequently inputting the sequence of poses or cropped images/optical flow into a model. This helps the model to recognise what actions each person is performing before they are merged to arrive at the group action class. However, all previous models are highly reliant on high quality tracking and have only been evaluated using ground truth tracking information. In practice it is almost impossible to achieve highly reliable tracking information for all individuals in a group activity video. We introduce an innovative deep learning-based group activity recognition approach called Rendered Pose based Group Activity Recognition System (RePGARS) which is designed to be tolerant of unreliable tracking and pose information. Experimental results confirm that RePGARS outperforms all existing group activity recognition algorithms tested which do not use ground truth detection and tracking information.