Graph-Jigsaw Conditioned Diffusion Model for Skeleton-based Video Anomaly Detection

📄 arXiv: 2403.12172v2 📥 PDF

作者: Ali Karami, Thi Kieu Khanh Ho, Narges Armanfard

分类: cs.CV, cs.AI

发布日期: 2024-03-18 (更新: 2024-08-31)

备注: Accepted at the Winter Conference on Applications of Computer Vision (WACV). 17 pages, 6 figures, 6 tables

💡 一句话要点

提出Graph-Jigsaw条件扩散模型以解决骨架视频异常检测问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 骨架视频分析 异常检测 图神经网络 条件扩散模型 时空特征提取 公共安全监控 智能交通

📋 核心要点

  1. 现有方法未能同时考虑人体动作的多样性和区域层面的细微差异，导致异常检测效果不佳。
  2. 提出的GiCiSAD框架通过三个模块有效捕捉时空依赖、区域差异和生成多样化动作，提升了检测能力。
  3. 在四个骨架视频数据集上的实验结果显示，GiCiSAD在参数量显著减少的情况下，性能超越了现有的检测方法。

📝 摘要（中文）

骨架视频异常检测（SVAD）是计算机视觉中的一项重要任务。准确识别异常模式或事件使得操作人员能够及时发现可疑活动，从而提高安全性。实现这一目标需要全面理解人体动作，包括身体和区域层面的动态，同时考虑到单一动作执行的广泛变化。然而，现有研究未能同时解决这些关键特性。本文提出了一种新颖、实用且轻量的框架，即Graph-Jigsaw Conditioned Diffusion Model for Skeleton-based Video Anomaly Detection（GiCiSAD），以克服SVAD相关挑战。GiCiSAD包含三个新模块：基于图注意力的预测模块以捕捉数据中的时空依赖关系，图级拼图生成模块以区分正常与异常动作之间的微妙区域差异，以及基于图的条件扩散模型以生成广泛的人体动作。对四个广泛使用的骨架视频数据集进行的广泛实验表明，GiCiSAD在训练参数显著减少的情况下超越了现有方法，确立了其作为新的最先进技术的地位。

🔬 方法详解

问题定义：本文旨在解决骨架视频异常检测中的关键问题，即如何准确识别复杂的人体动作及其区域差异。现有方法在处理多样性和细微差异时存在不足，导致检测效果不理想。

核心思路：GiCiSAD框架通过引入图注意力机制和条件扩散模型，旨在全面捕捉时空依赖关系和区域级别的细微变化，从而提高异常检测的准确性和鲁棒性。

技术框架：GiCiSAD框架主要由三个模块组成：1) 图注意力预测模块，负责捕捉数据中的时空依赖；2) 图级拼图生成模块，旨在识别正常与异常动作之间的区域差异；3) 基于图的条件扩散模型，用于生成多样化的人体动作。

关键创新：GiCiSAD的创新之处在于其结合了图注意力机制和条件扩散模型，能够同时处理时空依赖和区域差异，这在现有方法中是未曾实现的。

关键设计：在模型设计中，采用了图神经网络结构以增强时空特征提取能力，损失函数则结合了重建损失和分类损失，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GiCiSAD在四个骨架视频数据集上的实验结果显示，其在检测准确率上超越了现有方法，且训练参数显著减少，具体性能提升幅度达到XX%（具体数据未知），确立了其为新的最先进技术。

🎯 应用场景

该研究在公共安全监控、智能交通系统和人机交互等领域具有广泛的应用潜力。通过提高异常检测的准确性，GiCiSAD能够帮助相关领域的从业者更有效地识别和响应潜在的安全威胁，进而提升整体安全性和效率。

📄 摘要（原文）

Skeleton-based video anomaly detection (SVAD) is a crucial task in computer vision. Accurately identifying abnormal patterns or events enables operators to promptly detect suspicious activities, thereby enhancing safety. Achieving this demands a comprehensive understanding of human motions, both at body and region levels, while also accounting for the wide variations of performing a single action. However, existing studies fail to simultaneously address these crucial properties. This paper introduces a novel, practical and lightweight framework, namely Graph-Jigsaw Conditioned Diffusion Model for Skeleton-based Video Anomaly Detection (GiCiSAD) to overcome the challenges associated with SVAD. GiCiSAD consists of three novel modules: the Graph Attention-based Forecasting module to capture the spatio-temporal dependencies inherent in the data, the Graph-level Jigsaw Puzzle Maker module to distinguish subtle region-level discrepancies between normal and abnormal motions, and the Graph-based Conditional Diffusion model to generate a wide spectrum of human motions. Extensive experiments on four widely used skeleton-based video datasets show that GiCiSAD outperforms existing methods with significantly fewer training parameters, establishing it as the new state-of-the-art.