SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation

📄 arXiv: 2404.15276v1 📥 PDF

作者: Xiangyu Xu, Lijuan Liu, Shuicheng Yan

分类: cs.CV, cs.AI, cs.GR, cs.LG, cs.MM

发布日期: 2024-04-23

备注: Published at TPAMI 2024

期刊: https://www.computer.org/csdl/journal/tp/2024/05/10354384/1SP2qWh8Fq0

🔗 代码/项目: GITHUB

💡 一句话要点

提出SMPLer以解决单目3D人类形状与姿态估计中的计算复杂性问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 单目3D估计 人类姿态识别 Transformer 高分辨率特征 计算复杂度 SMPL模型 深度学习

📋 核心要点

  1. 现有的Transformer方法在处理单目3D人类形状与姿态估计时，计算复杂度高，难以充分利用高分辨率特征。
  2. 本文提出SMPLer框架，通过解耦注意力和SMPL目标表示，有效提升高分辨率特征的利用效率。
  3. 实验结果显示，SMPLer在Human3.6M数据集上实现了45.2mm的MPJPE，相比Mesh Graphormer提升超过10%，且参数量不到其三分之一。

📝 摘要（中文）

现有的单目3D人类形状与姿态估计的Transformer方法通常在特征长度上具有二次计算和内存复杂度，这限制了高分辨率特征中细粒度信息的利用。为了解决这一问题，本文提出了一种基于SMPL的Transformer框架（SMPLer）。SMPLer结合了两个关键要素：解耦注意力操作和基于SMPL的目标表示，从而有效利用高分辨率特征。此外，基于这两个设计，本文还引入了多尺度注意力和关节感知注意力等多个新模块，以进一步提升重建性能。大量实验表明，SMPLer在定量和定性上均优于现有的3D人类形状与姿态估计方法。

🔬 方法详解

问题定义：本文旨在解决现有单目3D人类形状与姿态估计方法在计算复杂度和内存使用上的不足，尤其是在高分辨率特征的细粒度信息利用方面存在的挑战。

核心思路：提出的SMPLer框架通过引入解耦注意力操作和基于SMPL的目标表示，旨在有效利用高分辨率特征，从而提升重建精度。

技术框架：SMPLer的整体架构包括多个模块，主要包括解耦注意力模块、SMPL目标表示模块、多尺度注意力模块和关节感知注意力模块，这些模块协同工作以提升模型性能。

关键创新：SMPLer的核心创新在于解耦注意力操作和基于SMPL的目标表示，这与传统Transformer方法的全局注意力机制形成鲜明对比，显著降低了计算复杂度。

关键设计：在设计中，SMPLer采用了多尺度注意力机制以捕捉不同层次的信息，同时引入关节感知注意力以增强对关节位置的关注，优化了损失函数以提高重建效果。

📊 实验亮点

SMPLer在Human3.6M数据集上取得了45.2mm的MPJPE，相较于Mesh Graphormer提升超过10%。此外，SMPLer的参数量不到Mesh Graphormer的三分之一，展现了其在性能与效率上的优势。

🎯 应用场景

该研究在计算机视觉和人机交互领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和动画制作等场景中，能够实现更为精准的人体姿态重建与分析。未来，SMPLer有望推动相关技术在实时应用中的落地，提升用户体验。

📄 摘要（原文）

Existing Transformers for monocular 3D human shape and pose estimation typically have a quadratic computation and memory complexity with respect to the feature length, which hinders the exploitation of fine-grained information in high-resolution features that is beneficial for accurate reconstruction. In this work, we propose an SMPL-based Transformer framework (SMPLer) to address this issue. SMPLer incorporates two key ingredients: a decoupled attention operation and an SMPL-based target representation, which allow effective utilization of high-resolution features in the Transformer. In addition, based on these two designs, we also introduce several novel modules including a multi-scale attention and a joint-aware attention to further boost the reconstruction performance. Extensive experiments demonstrate the effectiveness of SMPLer against existing 3D human shape and pose estimation methods both quantitatively and qualitatively. Notably, the proposed algorithm achieves an MPJPE of 45.2 mm on the Human3.6M dataset, improving upon Mesh Graphormer by more than 10% with fewer than one-third of the parameters. Code and pretrained models are available at https://github.com/xuxy09/SMPLer.