TubeLite: Lightweight Multi-Actor Spatio-Temporal Action Detection

📄 arXiv: 2607.04684v1 📥 PDF

作者: Ali Soltaninezhad, Melissa Cote, Alejandro Rico Espinosa, Tunai Porto Marques, Alexandra Branzan Albu

分类: cs.CV

发布日期: 2026-07-06

备注: Accepted to ICPR 2026. 15 pages

💡 一句话要点

提出TubeLite以解决多演员时空动作检测中的稳定性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 时空动作检测 轻量级模型 视频理解 多演员识别 时间一致性 高斯加权特征 短期时间传播

📋 核心要点

  1. 现有的时空动作检测方法常常依赖重型模型，导致高计算成本和扩展性差，难以实现稳定的动作管道构建。
  2. TubeLite通过低抖动检测、特征提取和时间传播等技术，提出了一种轻量级的时空动作检测框架，强调时间一致性。
  3. 在MultiSports和UCF101-24数据集上，TubeLite分别提高了4.5和7.1个百分点的Video-mAP@0.5，且参数和计算量显著低于基于变换器的方法。

📝 摘要（中文）

时空动作检测需要在视频中同时定位演员和识别动作边界。现有方法常常面临构建时序稳定的动作管道的挑战，导致检测结果抖动、碎片化和时间定位不精确。本文提出了TubeLite，一个轻量级框架，专注于稳定的管道构建和边界感知的时间建模。TubeLite将每个演员表示为一个管道，定义为与单个演员相关联的一系列边界框，并在空间和语义层面上显式地强制时间一致性。该方法结合了低抖动的演员检测、高斯加权的特征提取、高效的短期时间传播和边界聚焦的时间预测头，避免了光流和大规模时间注意力。尽管设计紧凑，TubeLite在视频级定位性能上表现出色。

🔬 方法详解

问题定义：本文旨在解决视频中多演员的时空动作检测问题，现有方法在构建稳定的动作管道时常常面临抖动和时间定位不准确的挑战。

核心思路：TubeLite通过将每个演员表示为一个时间序列的边界框管道，强调时间一致性，从而提高检测的稳定性和准确性。

技术框架：TubeLite的整体架构包括低抖动的演员检测模块、高斯加权特征提取模块、高效的短期时间传播模块和边界聚焦的时间预测头，形成一个完整的时空动作检测流程。

关键创新：TubeLite的主要创新在于其轻量级设计和时间一致性约束，避免了传统方法中常用的光流和大规模时间注意力机制，使得模型更为高效。

关键设计：在设计中，TubeLite采用了高斯加权的特征提取方式，确保了特征的稳定性，同时在损失函数中引入了时间一致性约束，以提升模型的时空理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TubeLite在MultiSports和UCF101-24数据集上分别提高了4.5和7.1个百分点的Video-mAP@0.5，相比于最佳对比方法，参数和浮点运算量显著减少，展示了轻量级时空建模的有效性。

🎯 应用场景

TubeLite在视频监控、体育分析和人机交互等领域具有广泛的应用潜力。其轻量级设计使得在资源受限的环境中也能实现高效的时空动作检测，未来可进一步推动智能监控和自动化分析的发展。

📄 摘要（原文）

Spatio-temporal action detection in videos requires jointly localizing actors in space and identifying action boundaries over time. A common challenge is constructing temporally stable action tubes, as frame-level detectors often suffer from jitter, fragmentation, and imprecise temporal localization. Many recent approaches address this by introducing heavy spatio-temporal transformers or optical-flow-based pipelines, leading to high computational cost and limited scalability. We propose TubeLite, a lightweight framework for spatio-temporal action detection that focuses on stable tube construction and boundary-aware temporal modeling. TubeLite represents each actor as a tube, defined as a sequence of bounding boxes associated with a single actor over time, and explicitly enforces temporal consistency at both the spatial and semantic levels. The method combines low-jitter actor detection, Gaussian-weighted actor feature extraction, efficient short-term temporal propagation, and a boundary-focused temporal prediction head, while avoiding optical flow and large-scale temporal attention. Despite its compact design, TubeLite achieves strong video-level localization performance. It improves Video-mAP@0.5 by 4.5 and 7.1 percentage points over the best compared method on the MultiSports and UCF101-24 datasets, respectively, with substantially fewer parameters and floating-point operations than transformer-based alternatives, demonstrating that effective spatio-temporal action detection can be obtained through principled, lightweight temporal modeling.