Wavelet-Decoupling Contrastive Enhancement Network for Fine-Grained Skeleton-Based Action Recognition

📄 arXiv: 2402.02210v1 📥 PDF

作者: Haochen Chang, Jing Chen, Yilin Li, Jixiang Chen, Xiaofeng Zhang

分类: cs.CV, cs.MM

发布日期: 2024-02-03

备注: Accepted by ICASSP 2024

期刊: IEEE International Conference on Acoustics, Speech and Signal Processing, Apr 2024, Seoul (Korea), South Korea

DOI: 10.1109/ICASSP48485.2024.10448199

💡 一句话要点

提出波形解耦对比增强网络以解决细粒度骨架动作识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 骨架动作识别 细粒度识别 波形解耦 对比学习 运动特征提取 时空特性 深度学习 小波变换

📋 核心要点

  1. 现有的骨架动作识别方法在处理相似动作序列时，因类间变化小而导致混淆，难以挖掘细微差异。
  2. 本文提出波形注意解耦模块（WAD），利用离散小波变换解耦显著与细微运动特征，并通过解耦注意力增强时间响应。
  3. 在NTU RGB+D和FineGYM数据集上进行的实验表明，所提方法在细粒度动作识别上表现优异，能够有效区分混淆动作。

📝 摘要（中文）

基于骨架的动作识别因其简洁性和鲁棒性而受到广泛关注。然而，相似动作序列间的最小类间变化常导致混淆。固有的时空耦合特性使得挖掘关节运动轨迹中的细微差异变得困难，这对于区分混淆的细粒度动作至关重要。为了解决这一问题，本文提出了一种波形注意解耦（WAD）模块，利用离散小波变换有效解耦时间频域中的显著和细微运动特征。然后，解耦注意力自适应地重新校准它们的时间响应。为了进一步放大这些细微运动特征的差异，本文提出了一种细粒度对比增强（FCE）模块，通过对比学习增强对轨迹特征的关注。大量实验在粗粒度数据集NTU RGB+D和细粒度数据集FineGYM上进行，结果表明我们的方法在与最先进的方法比较时表现出色，能够很好地区分混淆的细粒度动作。

🔬 方法详解

问题定义：本文旨在解决细粒度骨架动作识别中的混淆问题，现有方法在相似动作序列中难以捕捉到细微的类间差异，导致识别性能下降。

核心思路：通过引入波形注意解耦模块（WAD），利用离散小波变换将显著和细微运动特征进行有效解耦，并通过解耦注意力自适应地调整时间响应，从而增强对细微差异的捕捉能力。

技术框架：整体架构包括两个主要模块：波形注意解耦模块（WAD）和细粒度对比增强模块（FCE）。WAD模块负责特征解耦，FCE模块则通过对比学习进一步增强对细微特征的关注。

关键创新：最重要的创新点在于引入了波形注意解耦模块，利用小波变换有效分离不同层次的运动特征，这一设计与传统方法在特征提取上有本质区别。

关键设计：在网络结构上，WAD模块采用离散小波变换，FCE模块则使用对比损失函数来增强特征的区分性，具体参数设置和网络层次结构在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NTU RGB+D和FineGYM数据集上的实验结果显示，所提方法在细粒度动作识别任务中表现优异，能够有效区分混淆的细粒度动作，较现有最先进方法提升了识别准确率，具体性能数据未详细列出。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在智能监控、运动分析和人机交互等领域。通过提高细粒度动作识别的准确性，可以为运动员训练、健康监测和安全监控提供更为精准的技术支持，未来可能推动相关领域的技术进步与应用普及。

📄 摘要（原文）

Skeleton-based action recognition has attracted much attention, benefiting from its succinctness and robustness. However, the minimal inter-class variation in similar action sequences often leads to confusion. The inherent spatiotemporal coupling characteristics make it challenging to mine the subtle differences in joint motion trajectories, which is critical for distinguishing confusing fine-grained actions. To alleviate this problem, we propose a Wavelet-Attention Decoupling (WAD) module that utilizes discrete wavelet transform to effectively disentangle salient and subtle motion features in the time-frequency domain. Then, the decoupling attention adaptively recalibrates their temporal responses. To further amplify the discrepancies in these subtle motion features, we propose a Fine-grained Contrastive Enhancement (FCE) module to enhance attention towards trajectory features by contrastive learning. Extensive experiments are conducted on the coarse-grained dataset NTU RGB+D and the fine-grained dataset FineGYM. Our methods perform competitively compared to state-of-the-art methods and can discriminate confusing fine-grained actions well.