TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding

📄 arXiv: 2608.05699v1 📥 PDF

作者: Kepeng Yang, Dongxuan Liu, Rongxin Gao, Zixin Su, Rui Wu, Shuzhao Xie, Chenxin Li, Panwang Pan, Yuzhi Huang, Yue Huang, Jingyan Jiang

分类: cs.CV

发布日期: 2026-08-06

💡 一句话要点

提出TAU-Bench以解决视频异常理解中的实例跟踪与语义一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频异常理解 实例跟踪 语义一致性 视觉-语言模型 数据集构建 自动化评估 异常检测

📋 核心要点

  1. 现有方法在视频异常理解中，通常将跟踪与语义理解分开评估，导致实例与语义之间的不一致性未被充分测量。
  2. 本文提出TAU-Bench基准，通过集成异常适应性过滤、实例跟踪构建和层次化注释，联合评估异常实例跟踪与细粒度理解。
  3. 实验结果显示，尽管一些模型能生成可信的异常解释，但在准确定位和跟踪异常实例方面仍存在显著不足，揭示了语义推理与视觉基础之间的差距。

📝 摘要（中文）

人类通过连贯的感知过程理解异常事件，视频异常理解（VAU）旨在赋予模型类似的能力，超越简单判断视频是否异常，解释事件如何发展及其重要性。现有的视觉-语言模型（VLMs）虽然能生成详细的异常描述，但其语义流畅性并不保证解释在时间上与正确的异常实例保持一致。为此，本文提出了TAU-Bench，一个以跟踪为中心的基准，旨在联合评估异常实例跟踪和细粒度异常理解。TAU-Bench包含1,118个视频、1,454个轨迹和202,438个像素级掩码，涵盖49个事件和45个场景类别，并提供连接实例识别、事件理解和场景推理的注释。通过评估代表性的VLM模型，发现尽管模型生成的异常解释可信，但在定位和跟踪正确实例方面仍存在差距，强调了实例基础评估在构建更可靠的VAU系统中的重要性。

🔬 方法详解

问题定义：本文旨在解决视频异常理解中实例跟踪与语义理解之间的脱节问题。现有方法通常将这两者分开评估，导致无法有效衡量模型在实际应用中的表现。

核心思路：提出TAU-Bench基准，通过构建一个包含丰富注释和多样视频的数据集，促进异常实例的跟踪与理解的联合评估，从而提升模型的整体性能。

技术框架：TAU-Bench的构建包括多个模块：异常适应性过滤、异常实例轨迹构建、层次化注释和人类质量控制，确保数据的准确性和可靠性。

关键创新：TAU-Bench的主要创新在于其跟踪中心的设计，能够同时评估实例跟踪和语义理解，填补了现有基准的空白，推动了VAU领域的发展。

关键设计：在数据集构建中，采用了自动化数据引擎，结合了多种过滤和注释技术，确保了数据的多样性和高质量，同时设计了适应性强的评估指标来衡量模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管一些视觉-语言模型能够生成可信的异常描述，但在实例定位和跟踪方面的准确率仍然不足，显示出在语义推理与视觉基础之间存在显著差距。这一发现强调了实例基础评估的重要性，为未来的VAU系统提供了改进方向。

🎯 应用场景

该研究的潜在应用领域包括智能监控、交通监测和安全系统等，能够帮助自动化系统更好地理解和响应异常事件。通过提升模型的跟踪与理解能力，未来可在更复杂的场景中实现更高效的异常检测与响应，具有重要的实际价值。

📄 摘要（原文）

Humans understand anomalous events through a coherent perceptual process in which they identify the focal instance, follow its behavior as the event unfolds, and interpret why it violates the expectations of the surrounding scene. Video anomaly understanding (VAU) seeks to endow models with a similar capability, moving beyond deciding whether a video is anomalous toward explaining how the event develops and why it matters. Although recent vision--language models (VLMs) can generate detailed and plausible anomaly descriptions, their semantic fluency does not ensure that these interpretations remain grounded in the correct anomaly instance over time. Existing benchmarks typically evaluate tracking and semantic understanding through separate protocols, leaving such instance--semantic inconsistency largely unmeasured. We therefore introduce TAU-Bench, a track-centric benchmark for jointly evaluating anomaly instance tracking and fine-grained anomaly understanding. TAU-Bench contains 1,118 videos, 1,454 tracks, and 202,438 pixel-level masks spanning 49 event and 45 scene categories, together with track-centric annotations that connect instance-level identification, event-level understanding, and scene-level reasoning. To build TAU-Bench at scale, we developed an automated data engine integrating anomaly suitability filtering, anomaly instance track construction, hierarchical caption annotation, and human quality control. Evaluations across representative VLM families show that models producing plausible anomaly interpretations may still fail to localize and track the correct instance reliably, revealing a persistent gap between semantic reasoning and visual grounding. These findings therefore highlight instance-grounded evaluation as an important step toward more faithful and reliable VAU systems.