Video Anomaly Detection and Explanation via Large Language Models

📄 arXiv: 2401.05702v1 📥 PDF

作者: Hui Lv, Qianru Sun

分类: cs.CV

发布日期: 2024-01-11

备注: 9 pages, 6 figures

💡 一句话要点

提出基于大语言模型的视频异常检测方法以解决阈值复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频异常检测 大语言模型 长时上下文 可解释性 三阶段训练

📋 核心要点

  1. 现有的异常检测方法在阈值设定上复杂且缺乏可解释性，限制了其实际应用。
  2. 本文提出将视频大语言模型与长时上下文模块结合，消除阈值依赖并增强异常解释能力。
  3. 实验结果显示，模型在UCF-Crime和TAD基准上分别提升了3.86%和4.96%的AUC，且能提供异常的文本解释。

📝 摘要（中文）

视频异常检测（VAD）旨在定位长时间监控视频中的异常事件。尽管基于异常评分的方法已占主导地位，但它们在阈值设定的复杂性和检测结果的可解释性方面存在不足。本文首次将视频大语言模型（VLLMs）应用于VAD框架，使得VAD模型不再依赖阈值，并能够解释检测到的异常原因。我们引入了一种新颖的网络模块——长时上下文（LTC），以缓解VLLMs在长时上下文建模中的不足。同时，我们设计了三阶段训练方法，以提高VLLMs的微调效率，显著减少对VAD数据的需求，并降低注释指令调优数据的成本。经过训练的模型在UCF-Crime和TAD基准的异常视频上取得了最佳性能，AUC分别提高了3.86%和4.96%。更令人印象深刻的是，我们的方法能够为检测到的异常提供文本解释。

🔬 方法详解

问题定义：本文旨在解决视频异常检测中的阈值复杂性和结果可解释性不足的问题。现有方法依赖于复杂的阈值设定，导致检测结果难以理解。

核心思路：通过引入视频大语言模型（VLLMs）和长时上下文（LTC）模块，消除对阈值的依赖，并增强模型对异常事件的解释能力。这样的设计使得模型能够更好地理解长时间序列中的上下文信息。

技术框架：整体架构包括三个主要阶段：首先是数据预处理和模型初始化，其次是长时上下文模块的集成，最后是基于VLLMs的微调训练。每个阶段都有明确的目标，以提高模型的性能和可解释性。

关键创新：最重要的创新在于将长时上下文模块与VLLMs结合，解决了传统VLLMs在长时间序列建模中的不足。这一创新使得模型不仅能检测异常，还能提供相应的文本解释。

关键设计：在模型设计中，采用了特定的损失函数以优化异常检测的准确性，并通过三阶段训练方法显著降低了对标注数据的需求。网络结构上，LTC模块的引入是关键设计之一，增强了模型对长时序数据的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在UCF-Crime和TAD基准上分别实现了3.86%和4.96%的AUC提升，显著优于现有方法。此外，模型能够为检测到的异常提供清晰的文本解释，增强了结果的可理解性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、公共安全、交通监控等场景，能够有效提升异常事件的检测和解释能力。通过提供可解释的检测结果，能够帮助相关人员更好地理解和应对异常情况，具有重要的实际价值和社会影响。

📄 摘要（原文）

Video Anomaly Detection (VAD) aims to localize abnormal events on the timeline of long-range surveillance videos. Anomaly-scoring-based methods have been prevailing for years but suffer from the high complexity of thresholding and low explanability of detection results. In this paper, we conduct pioneer research on equipping video-based large language models (VLLMs) in the framework of VAD, making the VAD model free from thresholds and able to explain the reasons for the detected anomalies. We introduce a novel network module Long-Term Context (LTC) to mitigate the incapability of VLLMs in long-range context modeling. We design a three-phase training method to improve the efficiency of fine-tuning VLLMs by substantially minimizing the requirements for VAD data and lowering the costs of annotating instruction-tuning data. Our trained model achieves the top performance on the anomaly videos of the UCF-Crime and TAD benchmarks, with the AUC improvements of +3.86\% and +4.96\%, respectively. More impressively, our approach can provide textual explanations for detected anomalies.