EgoPoseFormer: A Simple Baseline for Stereo Egocentric 3D Human Pose Estimation

📄 arXiv: 2403.18080v2 📥 PDF

作者: Chenhongyi Yang, Anastasia Tkach, Shreyas Hampali, Linguang Zhang, Elliot J. Crowley, Cem Keskin

分类: cs.CV

发布日期: 2024-03-26 (更新: 2024-08-15)

备注: Accepted to ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出EgoPoseFormer以解决立体自视角3D人体姿态估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自视角姿态估计 变换器 立体视觉 可变形注意力 运动分析 虚拟现实 增强现实

📋 核心要点

  1. 自视角姿态估计面临关节不可见性的问题，现有方法难以有效处理自遮挡和视场限制。
  2. EgoPoseFormer采用两阶段姿态估计，第一阶段粗略定位关节，第二阶段通过DETR风格的变换器精细化位置。
  3. 在UnrealEgo数据集上，EgoPoseFormer显著提升了MPJPE，且在单目设置下也实现了最佳性能，显示出良好的扩展性。

📝 摘要（中文）

我们提出了EgoPoseFormer，这是一种简单而有效的基于变换器的模型，用于立体自视角的人体姿态估计。自视角姿态估计的主要挑战在于关节不可见性，这通常是由于自遮挡或头戴式相机的视场限制造成的。我们的方法通过引入两阶段的姿态估计范式来克服这一挑战：第一阶段，模型利用全局信息估计每个关节的粗略位置；第二阶段，采用DETR风格的变换器，通过利用细粒度的立体视觉特征来精细化粗略位置。此外，我们提出了一种可变形立体注意力操作，使变换器能够有效处理多视角特征，从而准确定位每个关节在3D空间中的位置。我们在立体UnrealEgo数据集上评估了我们的方法，结果显示其显著优于先前的方法，同时计算效率高：与现有最先进的方法相比，MPJPE提高了27.4mm（45%的提升），模型参数仅增加7.9%，FLOPs增加13.1%。

🔬 方法详解

问题定义：本论文旨在解决立体自视角3D人体姿态估计中的关节不可见性问题，现有方法在处理自遮挡和视场限制时表现不佳。

核心思路：EgoPoseFormer通过两阶段的姿态估计策略来克服关节不可见性，第一阶段利用全局信息进行粗略定位，第二阶段则通过细粒度的视觉特征进行精细化处理。

技术框架：整体架构包括两个主要阶段：第一阶段为粗略姿态估计，第二阶段为基于DETR的变换器进行精细化。模型还引入了可变形立体注意力操作，以处理多视角特征。

关键创新：最重要的创新在于提出了可变形立体注意力操作，使得变换器能够有效整合来自不同视角的信息，从而提高关节定位的准确性。

关键设计：模型参数设置经过优化，损失函数设计考虑了关节定位的精度，网络结构采用了变换器架构，确保了在计算效率和性能之间的良好平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoPoseFormer在立体UnrealEgo数据集上显著提升了MPJPE，达到了27.4mm的改进（45%提升），同时模型参数仅为7.9%，FLOPs增加13.1%。在单目设置下，该方法在SceneEgo数据集上也实现了最佳性能，MPJPE提升25.5mm（21%提升），显示出其优越的计算效率和性能。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为这些领域提供更精准的姿态估计技术，提升用户体验和交互效果。未来，该技术还可能在运动分析、医疗康复等领域发挥重要作用。

📄 摘要（原文）

We present EgoPoseFormer, a simple yet effective transformer-based model for stereo egocentric human pose estimation. The main challenge in egocentric pose estimation is overcoming joint invisibility, which is caused by self-occlusion or a limited field of view (FOV) of head-mounted cameras. Our approach overcomes this challenge by incorporating a two-stage pose estimation paradigm: in the first stage, our model leverages the global information to estimate each joint's coarse location, then in the second stage, it employs a DETR style transformer to refine the coarse locations by exploiting fine-grained stereo visual features. In addition, we present a Deformable Stereo Attention operation to enable our transformer to effectively process multi-view features, which enables it to accurately localize each joint in the 3D world. We evaluate our method on the stereo UnrealEgo dataset and show it significantly outperforms previous approaches while being computationally efficient: it improves MPJPE by 27.4mm (45% improvement) with only 7.9% model parameters and 13.1% FLOPs compared to the state-of-the-art. Surprisingly, with proper training settings, we find that even our first-stage pose proposal network can achieve superior performance compared to previous arts. We also show that our method can be seamlessly extended to monocular settings, which achieves state-of-the-art performance on the SceneEgo dataset, improving MPJPE by 25.5mm (21% improvement) compared to the best existing method with only 60.7% model parameters and 36.4% FLOPs. Code is available at: https://github.com/ChenhongyiYang/egoposeformer .