STEP: Score-Based Temporal Energy for Human Pose Video Anomaly Detection

📄 arXiv: 2608.19987v1 📥 PDF

作者: Jakub Micorek, Mateusz Koziński, Horst Possegger

分类: cs.CV

发布日期: 2026-08-20

备注: Accepted to ECCV 2026. Project page: https://jakubmicorek.github.io/STEP-demo | Code: https://github.com/jakubmicorek/STEP

💡 一句话要点

提出STEP框架以解决骨架视频异常检测中的噪声注入问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 视频异常检测 骨架分析 主成分分析 能量模型 去噪声评分匹配 实时处理 姿态估计 隐私保护

📋 核心要点

  1. 现有的骨架视频异常检测方法在处理长时间序列时，因噪声注入导致的物理不合理姿态问题严重影响性能。
  2. 本文提出STEP框架，通过主成分分析将姿态序列投影到白化空间，确保噪声注入后姿态的物理合理性。
  3. 在UBnormal数据集上，STEP框架的AUROC达到了90.1%，相比于之前的状态-of-the-art提升了12.2%。

📝 摘要（中文）

基于骨架的视频异常检测（VAD）提供了一种强大的隐私保护解决方案，用于识别异常行为。现有方法通过去噪声评分匹配（DSM）训练能量模型（EBMs），但直接向原始关节坐标注入噪声会导致物理上不可能的姿态，且随着时间窗口的扩大，这种结构崩溃现象严重恶化。为此，本文提出了STEP框架，利用主成分分析（PCA）将姿态序列投影到紧凑的白化主成分空间中。在这个良好行为的PC空间中学习数据密度，确保注入的噪声转化为物理上合理的变化，从而使模型能够处理更长的视频序列而不会出现性能崩溃。此外，为了减轻由于遮挡或运动模糊引起的姿态估计不准确性，我们集成了基于估计器置信度分数的序列级加权机制。我们的框架在UBnormal数据集上超越了之前的骨架基准，达到了90.1%的AUROC，提升幅度为12.2%。

🔬 方法详解

问题定义：本文旨在解决骨架视频异常检测中，现有方法在长时间序列处理时因噪声注入导致的物理不合理姿态问题。直接向原始关节坐标注入噪声会造成结构崩溃，影响检测效果。

核心思路：STEP框架的核心思路是利用主成分分析（PCA）将姿态序列投影到一个良好行为的白化主成分空间中，从而确保注入的噪声能够转化为物理上合理的变化，避免了原始坐标的性能崩溃。

技术框架：STEP框架主要包括数据预处理（PCA投影）、噪声注入、模型训练（基于EBM的去噪声评分匹配）以及序列级加权机制。通过这些模块的协同工作，模型能够有效处理长视频序列。

关键创新：STEP的创新点在于通过PCA投影解决了噪声注入导致的物理不合理问题，使得模型在处理长时间序列时性能显著提升。这一方法与传统的直接在原始坐标上进行噪声注入的方式本质上不同。

关键设计：在设计中，采用了序列级加权机制，基于姿态估计器的置信度分数进行加权，以减轻因遮挡或运动模糊引起的估计不准确性。此外，损失函数设计上也考虑了在白化空间中的数据密度学习，确保模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UBnormal数据集上，STEP框架的AUROC达到了90.1%，相比于之前的骨架基准提升了12.2%。此外，该框架在处理长视频序列时表现出色，确保了物理合理的姿态变化，具有较高的实时计算效率。

🎯 应用场景

该研究的潜在应用领域包括监控视频分析、智能交通系统和人机交互等场景。通过提供一种有效的异常检测方法，STEP框架能够在保护隐私的前提下，实时识别异常行为，从而提升安全性和用户体验。未来，随着技术的进一步发展，STEP框架有望在更多实际应用中得到推广和应用。

📄 摘要（原文）

Skeleton-based Video Anomaly Detection (VAD) offers a robust, privacy-preserving solution for identifying abnormal behaviors. To model the distribution of normal static and moving poses, recent methods train Energy-Based Models (EBMs) via Denoising Score Matching (DSM). However, directly injecting noise, required for training, into raw joint coordinates creates physically impossible poses, and this structural collapse severely worsens as the temporal window expands. To address this, we introduce STEP, a simple framework that utilizes Principal Component Analysis (PCA) to project pose sequences into a compact, whitened PC-space. Learning the data density within this well-behaved PC-space ensures that the injected noise translates into physically plausible variations, which allows the model to process longer video sequences without the performance collapse of raw coordinate baselines. Additionally, to mitigate inherent pose estimation inaccuracies arising from occlusions or motion blur, we integrate a sequence-level weighting mechanism based on the estimator's confidence scores. Operating at real-time computational efficiency, our simple and lightweight framework outperforms the previous skeleton-based state-of-the-art by 12.2% (90.1% AUROC) on the challenging UBnormal dataset and achieves highly competitive results by improving on the ShanghaiTech benchmark.