A Unified Reasoning Framework for Holistic Zero-Shot Video Anomaly Analysis

📄 arXiv: 2511.00962v1 📥 PDF

作者: Dongheng Lin, Mengxue Qu, Kunyang Han, Jianbo Jiao, Xiaojie Jin, Yunchao Wei

分类: cs.CV

发布日期: 2025-11-02

备注: NeurIPS 2025 poster

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出统一推理框架，实现零样本视频异常事件的整体分析

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 视频异常检测 零样本学习 视觉语言模型 提示学习 任务链 可解释性 视频理解

📋 核心要点

  1. 现有视频异常检测方法缺乏对异常原因的解释，且可解释性方法依赖数据和特定任务。
  2. 论文提出统一推理框架，通过链式测试时推理连接时间检测、空间定位和文本解释任务。
  3. 实验表明，该方法在零样本设置下，在视频异常检测、定位和解释任务上均取得领先性能。

📝 摘要（中文）

当前视频异常检测研究多局限于帧级别，缺乏对异常原因的深入理解，通常仅输出帧级别的异常分数，缺少空间或语义信息。近期的视频异常定位和理解方法虽然提高了可解释性，但仍然依赖数据和特定任务。本文提出了一种统一的推理框架，弥合了时间检测、空间定位和文本解释之间的差距。该方法基于链式测试时推理过程，依次连接这些任务，从而实现无需额外训练的整体零样本异常分析。具体而言，该方法利用任务内推理来优化时间检测，并利用任务间链接进行空间和语义理解，从而在完全零样本的情况下提高可解释性和泛化性。在没有任何额外数据或梯度的情况下，该方法在多个视频异常检测、定位和解释基准测试中实现了最先进的零样本性能。结果表明，通过精心设计的提示和任务链，可以释放基础模型的推理能力，从而在完全零样本的情况下实现实用且可解释的视频异常分析。

🔬 方法详解

问题定义：现有视频异常分析方法主要集中在帧级别的异常检测，缺乏对异常事件原因的深入理解，可解释性差。即使是异常定位和理解方法，也高度依赖训练数据和特定任务，泛化能力有限。因此，如何实现无需额外训练，即可进行时间检测、空间定位和语义解释的整体视频异常分析，是一个亟待解决的问题。

核心思路：本文的核心思路是利用预训练的视觉语言模型（如CLIP）的强大推理能力，通过精心设计的提示（Prompt）和任务链（Task Chaining），将时间检测、空间定位和文本解释三个任务串联起来。通过任务间的相互作用，实现对视频异常事件的整体理解，而无需针对特定数据集进行训练。

技术框架：该框架包含三个主要阶段：1) 时间检测：利用预训练模型提取视频帧的特征，并通过设计的Prompt进行时间异常检测。2) 空间定位：基于时间检测的结果，利用Prompt引导模型定位异常区域。3) 文本解释：根据时间和空间信息，生成对异常事件的文本描述。这三个阶段通过任务链依次连接，前一个任务的输出作为后一个任务的输入，从而实现整体的异常分析。

关键创新：该方法最重要的创新在于提出了一个统一的推理框架，通过任务链将时间检测、空间定位和文本解释三个任务整合在一起，实现了零样本的整体视频异常分析。与现有方法相比，该方法无需任何额外的训练数据或梯度，即可实现最先进的性能。

关键设计：关键设计包括：1) 精心设计的Prompt：针对每个任务，设计了特定的Prompt，以引导预训练模型进行推理。2) 任务链：通过任务链将三个任务依次连接，实现任务间的相互作用。3) 零样本设置：整个框架在零样本设置下进行评估，验证了其泛化能力。

📊 实验亮点

该方法在多个视频异常检测、定位和解释基准测试中实现了最先进的零样本性能，无需任何额外的训练数据或梯度。实验结果表明，通过精心设计的提示和任务链，可以有效利用预训练模型的推理能力，实现实用且可解释的视频异常分析。具体性能数据和对比基线信息请参考原文。

🎯 应用场景

该研究成果可应用于智能监控、工业安全、医疗诊断等领域。例如，在智能监控中，可以自动检测异常行为并生成报告；在工业安全中，可以检测生产线上的异常操作；在医疗诊断中，可以辅助医生识别医学影像中的异常区域。该研究有望推动视频异常分析技术在实际场景中的应用，提高安全性和效率。

📄 摘要（原文）

Most video-anomaly research stops at frame-wise detection, offering little insight into why an event is abnormal, typically outputting only frame-wise anomaly scores without spatial or semantic context. Recent video anomaly localization and video anomaly understanding methods improve explainability but remain data-dependent and task-specific. We propose a unified reasoning framework that bridges the gap between temporal detection, spatial localization, and textual explanation. Our approach is built upon a chained test-time reasoning process that sequentially connects these tasks, enabling holistic zero-shot anomaly analysis without any additional training. Specifically, our approach leverages intra-task reasoning to refine temporal detections and inter-task chaining for spatial and semantic understanding, yielding improved interpretability and generalization in a fully zero-shot manner. Without any additional data or gradients, our method achieves state-of-the-art zero-shot performance across multiple video anomaly detection, localization, and explanation benchmarks. The results demonstrate that careful prompt design with task-wise chaining can unlock the reasoning power of foundation models, enabling practical, interpretable video anomaly analysis in a fully zero-shot manner. Project Page: https://rathgrith.github.io/Unified_Frame_VAA/.