Video-Based Human Pose Regression via Decoupled Space-Time Aggregation

📄 arXiv: 2403.19926v2 📥 PDF

作者: Jijie He, Wenwu Yang

分类: cs.CV

发布日期: 2024-03-29 (更新: 2024-04-01)

备注: 12 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出DSTA网络以解决视频中人类姿态估计的计算瓶颈问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频姿态估计 解耦时空聚合 人类姿态回归 局部关注机制 边缘计算

📋 核心要点

  1. 现有的多帧人类姿态估计方法主要依赖热图，导致计算和存储需求高，限制了实时应用。
  2. 本文提出解耦时空聚合网络（DSTA），直接将输入映射到关节坐标，分别建模空间和时间依赖性。
  3. DSTA在PoseTrack2017数据集上实现了8.9 mAP的显著提升，且在性能上与最先进的热图方法相当。

📝 摘要（中文）

通过利用视频序列中的时间依赖性，多帧人类姿态估计算法在复杂场景中表现出色。然而，现有基于热图的方法计算和存储需求高，限制了其在边缘设备上的实时应用。本文提出了一种高效的视频基础姿态回归方法，直接将输入映射到输出关节坐标，避免了中间热图表示。我们提出的解耦时空聚合网络（DSTA）能够分别捕捉相邻关节的空间上下文和每个关节的时间线索，从而有效建模其时空依赖性。实验结果表明，DSTA在PoseTrack2017上相较于传统回归方法提升了8.9 mAP，并在性能上超越或持平于最先进的热图方法。

🔬 方法详解

问题定义：本文旨在解决视频中人类姿态估计的计算瓶颈，现有方法依赖热图，导致高计算和存储需求，限制了实时应用，尤其是在边缘设备上。

核心思路：提出解耦时空聚合网络（DSTA），该方法直接将视频输入映射到关节坐标，避免中间热图表示，同时分别捕捉相邻关节的空间上下文和每个关节的时间线索，以建模其时空依赖性。

技术框架：DSTA网络包括多个模块，首先通过卷积层提取特征，然后利用专门的特征标记为每个关节建模其时空依赖性，最后通过联合局部关注机制整合空间和时间信息。

关键创新：DSTA的主要创新在于解耦空间和时间维度的建模，采用局部关注机制，使得每个关节的时空依赖性能够独立捕捉，避免了传统方法中时空信息的混淆。

关键设计：在网络设计中，采用了专门的特征标记来表示每个关节，损失函数设计为关注关节间的空间依赖性和时间依赖性，确保模型能够高效利用这些信息。整体架构灵活，适合在边缘设备上运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PoseTrack2017数据集上，DSTA方法相比于传统的回归方法实现了8.9 mAP的显著提升，且在性能上超越或持平于当前最先进的热图方法，展示了其在多帧人类姿态估计中的优越性。

🎯 应用场景

该研究在视频监控、运动分析、虚拟现实等领域具有广泛的应用潜力。通过提高人类姿态估计的实时性和准确性，DSTA能够为智能监控、运动训练和人机交互等场景提供更为可靠的技术支持，推动相关领域的发展。

📄 摘要（原文）

By leveraging temporal dependency in video sequences, multi-frame human pose estimation algorithms have demonstrated remarkable results in complicated situations, such as occlusion, motion blur, and video defocus. These algorithms are predominantly based on heatmaps, resulting in high computation and storage requirements per frame, which limits their flexibility and real-time application in video scenarios, particularly on edge devices. In this paper, we develop an efficient and effective video-based human pose regression method, which bypasses intermediate representations such as heatmaps and instead directly maps the input to the output joint coordinates. Despite the inherent spatial correlation among adjacent joints of the human pose, the temporal trajectory of each individual joint exhibits relative independence. In light of this, we propose a novel Decoupled Space-Time Aggregation network (DSTA) to separately capture the spatial contexts between adjacent joints and the temporal cues of each individual joint, thereby avoiding the conflation of spatiotemporal dimensions. Concretely, DSTA learns a dedicated feature token for each joint to facilitate the modeling of their spatiotemporal dependencies. With the proposed joint-wise local-awareness attention mechanism, our method is capable of efficiently and flexibly utilizing the spatial dependency of adjacent joints and the temporal dependency of each joint itself. Extensive experiments demonstrate the superiority of our method. Compared to previous regression-based single-frame human pose estimation methods, DSTA significantly enhances performance, achieving an 8.9 mAP improvement on PoseTrack2017. Furthermore, our approach either surpasses or is on par with the state-of-the-art heatmap-based multi-frame human pose estimation methods. Project page: https://github.com/zgspose/DSTA.