Dynamic Dense Graph Convolutional Network for Skeleton-based Human Motion Prediction

📄 arXiv: 2311.17408v1 📥 PDF

作者: Xinshun Wang, Wanying Zhang, Can Wang, Yuan Gao, Mengyuan Liu

分类: cs.CV

发布日期: 2023-11-29

DOI: 10.1109/TIP.2023.3334954

💡 一句话要点

提出动态密集图卷积网络以解决骨架序列运动预测问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 图卷积网络 动态消息传递 骨架运动预测 深度学习 计算机视觉

📋 核心要点

  1. 现有的图卷积网络在骨架序列运动预测中面临图构建和消息传递的挑战，影响了模型性能。
  2. 本文提出动态密集图卷积网络（DD-GCN），通过四维邻接建模构建密集图，并实现动态消息传递。
  3. 在Human 3.6M和CMU Mocap数据集上的实验表明，DD-GCN在性能上显著优于现有的GCN方法，尤其在长期预测中表现突出。

📝 摘要（中文）

图卷积网络（GCN）通过神经消息传递框架建模骨骼关节之间的依赖关系，在基于骨架的人类运动预测任务中取得了显著成功。然而，如何从骨架序列构建图以及如何在图上进行消息传递仍然是开放性问题，严重影响了GCN的性能。为了解决这两个问题，本文提出了一种动态密集图卷积网络（DD-GCN），该网络构建了一个密集图并实现了集成的动态消息传递。具体而言，我们通过四维邻接建模构建了一个密集图，作为不同抽象层次的运动序列的综合表示。基于密集图，我们提出了一种动态消息传递框架，该框架从数据中动态学习，生成反映图中节点间样本特定相关性的独特消息。在Human 3.6M和CMU Mocap基准数据集上的大量实验验证了DD-GCN的有效性，尤其是在使用长期和我们提出的极长协议时，明显优于现有的GCN方法。

🔬 方法详解

问题定义：本文旨在解决骨架序列运动预测中图构建和消息传递的不足，现有方法在这两方面的局限性严重影响了预测性能。

核心思路：提出动态密集图卷积网络（DD-GCN），通过构建密集图和动态消息传递框架，增强模型对运动序列的理解和预测能力。

技术框架：DD-GCN的整体架构包括密集图构建模块和动态消息传递模块，前者通过四维邻接建模实现，后者则根据数据动态生成消息。

关键创新：DD-GCN的核心创新在于密集图的构建和动态消息传递机制，这与传统GCN方法的静态图构建和固定消息传递方式形成鲜明对比。

关键设计：在网络结构上，DD-GCN采用了多层卷积结构，损失函数设计为结合预测误差和图结构信息的复合损失，以优化模型性能。具体的参数设置和超参数调优也在实验中进行了详细探讨。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Human 3.6M和CMU Mocap数据集上的实验结果显示，DD-GCN在运动预测任务中明显优于现有的GCN方法，尤其在长期和极长协议下，性能提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、动画制作和人机交互等，能够为这些领域提供更精准的人类动作预测技术，提升用户体验和交互效果。未来，DD-GCN有望在实时运动捕捉和智能监控等场景中发挥重要作用。

📄 摘要（原文）

Graph Convolutional Networks (GCN) which typically follows a neural message passing framework to model dependencies among skeletal joints has achieved high success in skeleton-based human motion prediction task. Nevertheless, how to construct a graph from a skeleton sequence and how to perform message passing on the graph are still open problems, which severely affect the performance of GCN. To solve both problems, this paper presents a Dynamic Dense Graph Convolutional Network (DD-GCN), which constructs a dense graph and implements an integrated dynamic message passing. More specifically, we construct a dense graph with 4D adjacency modeling as a comprehensive representation of motion sequence at different levels of abstraction. Based on the dense graph, we propose a dynamic message passing framework that learns dynamically from data to generate distinctive messages reflecting sample-specific relevance among nodes in the graph. Extensive experiments on benchmark Human 3.6M and CMU Mocap datasets verify the effectiveness of our DD-GCN which obviously outperforms state-of-the-art GCN-based methods, especially when using long-term and our proposed extremely long-term protocol.