Simba: Mamba augmented U-ShiftGCN for Skeletal Action Recognition in Videos

📄 arXiv: 2404.07645v1 📥 PDF

作者: Soumyabrata Chaudhuri, Saumik Bhattacharya

分类: cs.CV

发布日期: 2024-04-11

备注: 20 pages, 6 tables, 1 figure

💡 一句话要点

提出Simba框架以提升视频中的骨骼动作识别性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 骨骼动作识别 图卷积网络 长序列建模 Mamba U-ShiftGCN 深度学习 视频分析

📋 核心要点

  1. 现有的骨骼动作识别方法多依赖图卷积网络，但普通Transformer在处理长序列时表现不佳，缺乏结构先验。
  2. 本文提出的Simba框架结合了Mamba和U-ShiftGCN，采用下采样和上采样的Shift S-GCN块提取空间特征，并通过Mamba进行时间建模。
  3. Simba在三个知名数据集上实现了最先进的性能，U-ShiftGCN单独使用时也能超越基线表现，显示出其有效性。

📝 摘要（中文）

骨骼动作识别(SAR)旨在通过骨骼关节坐标及其连接关系识别人体动作。尽管已有尝试使用普通Transformer进行此任务，但由于缺乏结构先验，其性能仍不及基于图卷积网络(GCN)的领先方法。本文首次提出结合Mamba的SAR框架Simba，采用新颖的U-ShiftGCN架构，利用下采样和上采样的Shift S-GCN块提取空间特征，并通过Mamba块进行中间时间建模，最终在NTU RGB+D、NTU RGB+D 120和Northwestern-UCLA等三个基准数据集上实现了最先进的性能。

🔬 方法详解

问题定义：骨骼动作识别(SAR)的核心问题是如何有效识别和分类基于骨骼关节数据的人体动作。现有方法如普通Transformer在处理长序列时缺乏结构先验，导致性能不足。

核心思路：本文提出的Simba框架通过结合Mamba和U-ShiftGCN，旨在高效建模骨骼数据的空间和时间特征。Mamba作为核心组件，替代了传统的注意力机制，增强了对长序列的建模能力。

技术框架：Simba的整体架构包括多个模块：首先，使用下采样的Shift S-GCN块提取空间特征；接着，通过Mamba块进行中间时间建模；最后，使用上采样的Shift S-GCN块和Shift T-GCN进行最终的时间表示提炼。

关键创新：Simba的主要创新在于首次将Mamba引入骨骼动作识别领域，并结合U-ShiftGCN架构，显著提升了模型在长序列数据上的表现。与传统方法相比，Simba在特征提取和时间建模上具有更高的灵活性和效率。

关键设计：模型设计中，Shift S-GCN块用于空间特征提取，Mamba块用于中间时间建模，Shift T-GCN用于最终时间表示的精细化。模型的参数设置和损失函数经过精心设计，以确保在不同数据集上的最佳性能。

🖼️ 关键图片

fig_0

📊 实验亮点

Simba在NTU RGB+D、NTU RGB+D 120和Northwestern-UCLA三个数据集上实现了最先进的性能，超越了现有的最佳方法。U-ShiftGCN单独使用时也表现出色，超过了基线模型，显示出其强大的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、运动分析、虚拟现实和人机交互等。通过提高骨骼动作识别的准确性，Simba能够在实时动作识别和分析中发挥重要作用，推动相关技术的发展与应用。

📄 摘要（原文）

Skeleton Action Recognition (SAR) involves identifying human actions using skeletal joint coordinates and their interconnections. While plain Transformers have been attempted for this task, they still fall short compared to the current leading methods, which are rooted in Graph Convolutional Networks (GCNs) due to the absence of structural priors. Recently, a novel selective state space model, Mamba, has surfaced as a compelling alternative to the attention mechanism in Transformers, offering efficient modeling of long sequences. In this work, to the utmost extent of our awareness, we present the first SAR framework incorporating Mamba. Each fundamental block of our model adopts a novel U-ShiftGCN architecture with Mamba as its core component. The encoder segment of the U-ShiftGCN is devised to extract spatial features from the skeletal data using downsampling vanilla Shift S-GCN blocks. These spatial features then undergo intermediate temporal modeling facilitated by the Mamba block before progressing to the encoder section, which comprises vanilla upsampling Shift S-GCN blocks. Additionally, a Shift T-GCN (ShiftTCN) temporal modeling unit is employed before the exit of each fundamental block to refine temporal representations. This particular integration of downsampling spatial, intermediate temporal, upsampling spatial, and ultimate temporal subunits yields promising results for skeleton action recognition. We dub the resulting model \textbf{Simba}, which attains state-of-the-art performance across three well-known benchmark skeleton action recognition datasets: NTU RGB+D, NTU RGB+D 120, and Northwestern-UCLA. Interestingly, U-ShiftGCN (Simba without Intermediate Mamba Block) by itself is capable of performing reasonably well and surpasses our baseline.