Explore Human Parsing Modality for Action Recognition

📄 arXiv: 2401.02138v1 📥 PDF

作者: Jinfu Liu, Runwei Ding, Yuhang Wen, Nan Dai, Fanyang Meng, Shen Zhao, Mengyuan Liu

分类: cs.CV

发布日期: 2024-01-04

备注: arXiv admin note: text overlap with arXiv:2307.07977

🔗 代码/项目: GITHUB

💡 一句话要点

提出EPP-Net以解决多模态动作识别中的噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 动作识别 人体解析 图卷积网络 卷积神经网络 深度学习 特征融合

📋 核心要点

  1. 现有的多模态动作识别方法在骨骼和RGB模态中存在噪声干扰和信息缺失的问题。
  2. 本文提出EPP-Net框架，结合骨骼和人体解析模态，利用解析特征图保留有效信息并减少噪声。
  3. 在NTU RGB+D和NTU RGB+D 120基准上，EPP-Net的表现超越了现有方法，验证了其有效性。

📝 摘要（中文）

基于多模态的动作识别方法在使用姿态和RGB模态时取得了显著成功。然而，骨骼序列缺乏外观描述，而RGB图像由于模态限制而受到无关噪声的影响。为了解决这一问题，本文引入了人类解析特征图作为新颖模态，能够选择性地保留身体部位的有效语义特征，同时过滤掉大部分无关噪声。我们提出了一种新的双分支框架，称为集成人体解析与姿态网络（EPP-Net），首次将骨骼和人体解析模态结合用于动作识别。通过在NTU RGB+D和NTU RGB+D 120基准上的广泛实验，验证了EPP-Net的有效性，超越了现有的动作识别方法。

🔬 方法详解

问题定义：本文旨在解决现有多模态动作识别方法中骨骼序列缺乏外观信息和RGB图像受到噪声影响的问题。现有方法在处理复杂场景时表现不佳，导致识别准确率降低。

核心思路：我们提出的EPP-Net框架通过引入人类解析特征图作为新模态，能够有效保留身体部位的语义特征，同时过滤掉无关噪声，从而提升动作识别的准确性。

技术框架：EPP-Net采用双分支结构，其中一个分支使用图卷积网络处理骨骼数据，另一个分支利用卷积骨干网络处理解析特征图。两个分支的高层特征通过后期融合策略进行有效结合，以实现更好的动作识别效果。

关键创新：EPP-Net的最大创新在于首次将人体解析模态与骨骼模态结合，利用解析特征图的优势来增强动作识别的性能，克服了传统方法的局限性。

关键设计：在网络设计中，我们采用了图卷积网络来处理骨骼数据，并使用卷积神经网络提取解析特征图的特征。损失函数设计上，结合了分类损失和特征融合损失，以确保模型的学习效果。整体架构经过多次实验优化，以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NTU RGB+D和NTU RGB+D 120基准测试中，EPP-Net的性能显著优于现有动作识别方法，具体表现为在NTU RGB+D数据集上提高了识别准确率，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实、运动分析等。通过提高动作识别的准确性，EPP-Net可以在实时监控和人机交互中发挥重要作用，推动相关技术的发展和应用。未来，该方法有望在更复杂的场景中实现更广泛的应用。

📄 摘要（原文）

Multimodal-based action recognition methods have achieved high success using pose and RGB modality. However, skeletons sequences lack appearance depiction and RGB images suffer irrelevant noise due to modality limitations. To address this, we introduce human parsing feature map as a novel modality, since it can selectively retain effective semantic features of the body parts, while filtering out most irrelevant noise. We propose a new dual-branch framework called Ensemble Human Parsing and Pose Network (EPP-Net), which is the first to leverage both skeletons and human parsing modalities for action recognition. The first human pose branch feeds robust skeletons in graph convolutional network to model pose features, while the second human parsing branch also leverages depictive parsing feature maps to model parsing festures via convolutional backbones. The two high-level features will be effectively combined through a late fusion strategy for better action recognition. Extensive experiments on NTU RGB+D and NTU RGB+D 120 benchmarks consistently verify the effectiveness of our proposed EPP-Net, which outperforms the existing action recognition methods. Our code is available at: https://github.com/liujf69/EPP-Net-Action.