SFMViT: SlowFast Meet ViT in Chaotic World

📄 arXiv: 2404.16609v2 📥 PDF

作者: Jiaying Lin, Jiajun Wen, Mengyuan Liu, Jinfu Liu, Baiqiao Yin, Yue Li

分类: cs.CV, cs.AI

发布日期: 2024-04-25 (更新: 2024-08-13)

🔗 代码/项目: GITHUB

💡 一句话要点

提出SFMViT以解决混乱场景中的时空动作定位问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时空动作定位 视频理解 视觉变换器 SlowFast网络 锚点剪枝 深度学习 计算机视觉

📋 核心要点

  1. 混乱场景中的时空动作定位任务面临高质量视频特征提取和检测器预测锚点精度不足的挑战。
  2. 提出的SFMViT结合了ViT和SlowFast的优点，并引入锚点剪枝策略以提升模型性能。
  3. 在Chaotic World数据集上，SFMViT的mAP达到了26.62%，显著超越了现有模型的表现。

📝 摘要（中文）

在混乱场景中进行时空动作定位是一项具有挑战性的任务，旨在提升视频理解的能力。为此，本文提出了一种高性能的双流时空特征提取网络SFMViT，并引入了锚点剪枝策略。SFMViT的主干网络结合了视觉变换器（ViT）和SlowFast网络，充分利用了ViT在全局特征提取方面的优势以及SlowFast在时空序列建模方面的能力。此外，本文还引入了置信度最大堆来剪枝每帧图像中检测到的锚点，以过滤出有效的锚点。这些设计使得SFMViT在Chaotic World数据集上达到了26.62%的mAP，远超现有模型。代码可在https://github.com/jfightyr/SlowFast-Meet-ViT获取。

🔬 方法详解

问题定义：本文旨在解决混乱场景中的时空动作定位问题。现有方法在高质量视频特征提取和锚点精度上存在不足，导致模型性能受限。

核心思路：SFMViT通过结合视觉变换器（ViT）和SlowFast网络，充分利用两者的优势，提升时空特征提取能力，并通过锚点剪枝策略提高检测精度。

技术框架：SFMViT的整体架构包括两个主要模块：ViT用于全局特征提取，SlowFast用于时空序列建模。通过置信度最大堆对每帧的锚点进行剪枝，从而筛选出有效锚点。

关键创新：SFMViT的核心创新在于将ViT与SlowFast相结合，并引入锚点剪枝策略，这与现有方法的单一特征提取方式形成了显著区别。

关键设计：在网络结构上，SFMViT采用了双流设计，结合了时空特征提取的优势。损失函数和参数设置经过精心设计，以确保模型在复杂场景下的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SFMViT在Chaotic World数据集上实现了26.62%的mAP，相较于现有模型有显著提升，展示了其在混乱场景下的优越性能。这一结果表明，结合ViT与SlowFast的设计思路在时空动作定位任务中具有重要的应用价值。

🎯 应用场景

该研究在视频监控、智能交通、体育分析等领域具有广泛的应用潜力。通过提升时空动作定位的精度，SFMViT能够为复杂场景下的自动化分析提供更为可靠的支持，推动相关领域的智能化发展。

📄 摘要（原文）

The task of spatiotemporal action localization in chaotic scenes is a challenging task toward advanced video understanding. Paving the way with high-quality video feature extraction and enhancing the precision of detector-predicted anchors can effectively improve model performance. To this end, we propose a high-performance dual-stream spatiotemporal feature extraction network SFMViT with an anchor pruning strategy. The backbone of our SFMViT is composed of ViT and SlowFast with prior knowledge of spatiotemporal action localization, which fully utilizes ViT's excellent global feature extraction capabilities and SlowFast's spatiotemporal sequence modeling capabilities. Secondly, we introduce the confidence maximum heap to prune the anchors detected in each frame of the picture to filter out the effective anchors. These designs enable our SFMViT to achieve a mAP of 26.62% in the Chaotic World dataset, far exceeding existing models. Code is available at https://github.com/jfightyr/SlowFast-Meet-ViT.