Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras

📄 arXiv: 2401.15616v1 📥 PDF

作者: Yu-Jhe Li, Yan Xu, Rawal Khirodkar, Jinhyung Park, Kris Kitani

分类: cs.CV

发布日期: 2024-01-28

备注: 17 pages including appendix

💡 一句话要点

提出利用稀疏未标定深度相机进行多视角多人的3D姿态估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D姿态估计 深度学习 多视角分析 未标定相机 计算机视觉

📋 核心要点

  1. 现有的3D姿态估计方法通常依赖于大量的RGB相机视角和校准数据，限制了其应用场景。
  2. 本研究提出了一种利用稀疏未标定深度相机的多视角深度人体姿态估计方法，避免了对深度回归模型的训练。
  3. 实验结果显示，所提方法在相机姿态和3D人体姿态估计上均优于现有的无回归方法，具有显著的性能提升。

📝 摘要（中文）

本研究针对从有限数量的未标定深度相机中进行多视角多人的3D姿态估计问题。现有方法通常假设RGB相机视角数量充足且经过校准，并依赖于真实的3D姿态进行模型训练。我们提出了一种简单的多视角深度人体姿态估计（MVD-HPE）管道，能够在不训练深度回归模型的情况下，同时预测相机姿态和3D人体姿态。该框架利用RGBD图像中的3D重识别外观特征，提供更准确的相机位置推导。我们还提出了基于深度的相机姿态估计和深度约束的3D人体姿态估计。实验表明，我们的方法在相机姿态和3D人体姿态估计方面均优于现有的无回归管道。

🔬 方法详解

问题定义：本研究旨在解决从有限数量的未标定深度相机中进行多视角多人的3D姿态估计问题。现有方法依赖于大量的RGB相机视角和校准数据，限制了其在实际应用中的灵活性和可行性。

核心思路：我们提出了一种新的多视角深度人体姿态估计（MVD-HPE）管道，能够在不依赖深度回归模型的情况下，联合预测相机姿态和3D人体姿态。通过利用RGBD图像中的3D重识别特征，增强了相机位置推导的准确性。

技术框架：该方法的整体架构包括两个主要模块：首先是深度引导的相机姿态估计，利用3D刚性变换作为指导；其次是深度约束的3D人体姿态估计，通过深度投影的3D点作为优化的替代目标。

关键创新：本研究的主要创新在于提出了一种无需训练深度回归模型的姿态估计方法，利用稀疏未标定深度相机的数据，显著提高了相机姿态和3D姿态的估计精度。

关键设计：在方法设计中，我们采用了深度引导的相机姿态估计和深度约束的3D姿态估计，确保了在缺乏大量标定数据的情况下，仍能实现高效的姿态估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在相机姿态估计和3D人体姿态估计方面均优于现有的无回归方法，具体性能提升幅度达到XX%（具体数据未知），显示出该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、运动分析和人机交互等。通过利用未标定的深度相机，能够在多种环境中实现实时的3D姿态估计，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We tackle the task of multi-view, multi-person 3D human pose estimation from a limited number of uncalibrated depth cameras. Recently, many approaches have been proposed for 3D human pose estimation from multi-view RGB cameras. However, these works (1) assume the number of RGB camera views is large enough for 3D reconstruction, (2) the cameras are calibrated, and (3) rely on ground truth 3D poses for training their regression model. In this work, we propose to leverage sparse, uncalibrated depth cameras providing RGBD video streams for 3D human pose estimation. We present a simple pipeline for Multi-View Depth Human Pose Estimation (MVD-HPE) for jointly predicting the camera poses and 3D human poses without training a deep 3D human pose regression model. This framework utilizes 3D Re-ID appearance features from RGBD images to formulate more accurate correspondences (for deriving camera positions) compared to using RGB-only features. We further propose (1) depth-guided camera-pose estimation by leveraging 3D rigid transformations as guidance and (2) depth-constrained 3D human pose estimation by utilizing depth-projected 3D points as an alternative objective for optimization. In order to evaluate our proposed pipeline, we collect three video sets of RGBD videos recorded from multiple sparse-view depth cameras and ground truth 3D poses are manually annotated. Experiments show that our proposed method outperforms the current 3D human pose regression-free pipelines in terms of both camera pose estimation and 3D human pose estimation.