Abductive Ego-View Accident Video Understanding for Safe Driving Perception

📄 arXiv: 2403.00436v1 📥 PDF

作者: Jianwu Fang, Lei-lei Li, Junfei Zhou, Junbin Xiao, Hongkai Yu, Chen Lv, Jianru Xue, Tat-Seng Chua

分类: cs.CV, cs.AI

发布日期: 2024-03-01

备注: Accepted by CVPR2024. This is not the camera-ready version. The Project page: http://www.lotvsmmau.net

💡 一句话要点

提出MM-AU数据集与AdVersa-SD框架以解决安全驾驶感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态事故理解 视频扩散 因果关系推理 安全驾驶 对象检测 推理模型 数据集构建

📋 核心要点

  1. 现有的事故视频理解方法在因果关系推理和多模态信息融合方面存在不足，难以有效支持安全驾驶决策。
  2. 论文提出的AdVersa-SD框架通过对象中心视频扩散方法，结合推理CLIP模型，旨在提升事故原因理解和因果链推理能力。
  3. 实验结果表明，AdVersa-SD在事故理解任务上表现优越，OAVD方法在精确度和推理能力上显著超越了现有的最先进模型。

📝 摘要（中文）

我们提出了MM-AU，一个用于多模态事故视频理解的新数据集。MM-AU包含11,727个真实场景的自视角事故视频，每个视频都有时间对齐的文本描述。我们标注了超过223万个物体框和58,650对基于视频的事故原因，涵盖58个事故类别。MM-AU支持多种事故理解任务，特别是多模态视频扩散，以理解事故因果链。基于MM-AU，我们提出了一个用于安全驾驶感知的推理事故视频理解框架（AdVersa-SD），该框架通过对象中心视频扩散方法（OAVD）进行视频扩散，利用推理CLIP模型进行驱动，验证了其推理能力和OAVD相较于现有扩散模型的优越性。

🔬 方法详解

问题定义：本论文旨在解决事故视频理解中的因果关系推理问题，现有方法在处理多模态信息和推理能力上存在局限，无法有效支持安全驾驶决策。

核心思路：论文提出的AdVersa-SD框架通过对象中心视频扩散（OAVD）方法，结合推理CLIP模型，旨在通过对事故视频的多模态分析，提升对事故原因和因果链的理解。

技术框架：AdVersa-SD框架包括数据预处理、对象检测、视频扩散和因果关系推理四个主要模块。首先，利用MM-AU数据集进行训练，接着通过OAVD方法生成视频，最后进行因果链分析。

关键创新：最重要的技术创新在于引入了推理CLIP模型和对象中心视频扩散方法，能够有效学习正常、近事故和事故帧的共现关系，提升了因果关系的推理能力。

关键设计：在设计中，采用了对比交互损失函数来学习视频帧与文本描述之间的关系，同时在视频生成过程中固定原始帧背景内容，以确保因果区域的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AdVersa-SD在事故理解任务上取得了显著的性能提升，相较于现有最先进的扩散模型，OAVD方法在准确性和推理能力上均有显著提高，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统、交通安全监控和事故分析等。通过提升事故理解能力，能够为安全驾驶提供更有效的决策支持，减少交通事故的发生率，具有重要的社会价值和实际意义。

📄 摘要（原文）

We present MM-AU, a novel dataset for Multi-Modal Accident video Understanding. MM-AU contains 11,727 in-the-wild ego-view accident videos, each with temporally aligned text descriptions. We annotate over 2.23 million object boxes and 58,650 pairs of video-based accident reasons, covering 58 accident categories. MM-AU supports various accident understanding tasks, particularly multimodal video diffusion to understand accident cause-effect chains for safe driving. With MM-AU, we present an Abductive accident Video understanding framework for Safe Driving perception (AdVersa-SD). AdVersa-SD performs video diffusion via an Object-Centric Video Diffusion (OAVD) method which is driven by an abductive CLIP model. This model involves a contrastive interaction loss to learn the pair co-occurrence of normal, near-accident, accident frames with the corresponding text descriptions, such as accident reasons, prevention advice, and accident categories. OAVD enforces the causal region learning while fixing the content of the original frame background in video generation, to find the dominant cause-effect chain for certain accidents. Extensive experiments verify the abductive ability of AdVersa-SD and the superiority of OAVD against the state-of-the-art diffusion models. Additionally, we provide careful benchmark evaluations for object detection and accident reason answering since AdVersa-SD relies on precise object and accident reason information.