VQ-VAD: Vector-quantized Motion Representation Learning for Human-centric Video Anomaly Detection

📄 arXiv: 2608.05069v1 📥 PDF

作者: Narges Rashvand, Ghazal Alinezhad Noghre, Shanle Yao, Gabriel Maldonado, Hamed Tabkhi

分类: cs.CV, cs.AI

发布日期: 2026-08-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出VQ-VAD以解决视频异常检测中的运动表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频异常检测 运动表示学习 向量量化 生成对抗网络 监控视频分析 跨域迁移 人本检测

📋 核心要点

  1. 现有基于姿态的视频异常检测方法在建模人类行为时存在连续潜在空间的局限，难以学习紧凑的运动模式。
  2. 本文提出VQ-VAD，通过向量量化生成对抗网络学习离散运动表示，专注于正常行为的运动代码本构建。
  3. VQ-VAD在多个基准测试中表现优异，尤其在HR-SHT数据集上达到了81.83%的准确率，展现了良好的跨域迁移能力。

📝 摘要（中文）

视频异常检测（VAD）因异常事件稀少和监控视频中视觉变化大而面临挑战。为减少视觉噪声并解决隐私问题，近期研究转向基于姿态的VAD，关注运动动态而非原始视频数据。然而，现有基于姿态的方法在连续潜在空间中建模人类行为，限制了其学习紧凑运动模式的能力。为此，本文提出了向量量化视频异常检测（VQ-VAD），一个新的人本异常检测框架，学习离散运动表示。VQ-VAD适配了原为图像生成开发的向量量化生成对抗网络（VQ-GAN），在关键点序列上构建正常行为的运动代码本。通过识别高重建误差来检测异常，VQ-VAD在多个基准测试中表现出色，达到了81.83%的准确率。

🔬 方法详解

问题定义：本文旨在解决视频异常检测中由于异常事件稀少和视觉变化大导致的检测困难。现有方法在连续潜在空间中建模人类行为，限制了其对运动模式的有效学习。

核心思路：VQ-VAD通过学习离散运动表示，构建正常行为的运动代码本，从而提高异常检测的准确性。该方法专注于运动动态而非原始视频数据，能够有效减少视觉噪声的影响。

技术框架：VQ-VAD的整体架构包括关键点序列的输入、运动代码本的构建和异常检测模块。首先，通过VQ-GAN对正常运动序列进行训练，生成运动代码本；然后，通过重建误差来识别异常行为。

关键创新：VQ-VAD的主要创新在于将向量量化技术应用于视频异常检测，学习离散的运动表示。这与现有方法在连续潜在空间建模的方式形成了本质区别，提升了模型的表现力和鲁棒性。

关键设计：在设计中，VQ-VAD采用了特定的损失函数来优化重建误差，并在网络结构上进行了调整，以适应关键点序列的输入，确保模型能够有效学习正常行为的运动模式。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

VQ-VAD在HR-SHT数据集上达到了81.83%的准确率，并在CMU Panoptic数据集上实现了76.69%的有效跨域迁移，未进行重训练，显示出其在不同数据集间的强泛化能力。

🎯 应用场景

该研究在监控视频分析、公共安全和异常行为检测等领域具有广泛的应用潜力。通过准确识别异常行为，VQ-VAD能够帮助提高安全监控系统的效率，减少误报率，并在未来的智能监控系统中发挥重要作用。

📄 摘要（原文）

Video Anomaly Detection (VAD) is inherently challenging due to the scarcity of anomalies and the large visual variability in surveillance footage, including changes in lighting, viewpoint, and human appearance. To mitigate visual noise and address privacy concerns, recent work has shifted to pose-based VAD, which focuses on motion dynamics rather than raw video data. However, existing pose-based approaches model human behavior in continuous latent spaces, limiting their ability to learn compact motion patterns necessary for robust behavior analysis. We address this by proposing Vector-Quantized Video Anomaly Detection (VQ-VAD), a novel human-centric anomaly detection framework that learns discrete motion representations. VQ-VAD adapts Vector-Quantized GAN (VQ-GAN), originally developed for image generation, to operate on keypoint sequences and construct a motion codebook of normal behavior. Trained exclusively on normal motion sequences, VQ-VAD detects anomalies by identifying high reconstruction errors when an observed motion sequence cannot be mapped to the learned codebook. We conduct extensive experiments across three complementary evaluation settings, including in-domain, cross-domain, and cross-dataset generalization, on four anomaly detection benchmarks. VQ-VAD achieves strong in-domain accuracy (81.83% on HR-SHT [15]), effective cross-domain transfer from CMU Panoptic [14] (76.69% on HR-SHT [15] without retraining), and competitive cross-dataset robustness. The code base for this work is available at https://github.com/TeCSAR-UNCC/VQ-VAD.