Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs

📄 arXiv: 2404.17837v1 📥 PDF

作者: Yiming Bao, Xu Zhao, Dahong Qian

分类: cs.CV, cs.HC

发布日期: 2024-04-27

备注: 10 pages, 5 figures, Under Review

💡 一句话要点

提出RTOF框架以解决单目视频与稀疏IMU融合问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D姿态估计 单目视频 稀疏IMU 多模态融合 实时优化

📋 核心要点

  1. 现有方法在单目视频中进行3D姿态估计时面临深度模糊和遮挡问题，导致准确性不足。
  2. 本文提出的RTOF框架通过结合稀疏IMU数据与视觉信息，优化人体姿态，提升了估计的平滑性和生物力学合理性。
  3. 在Total Capture数据集上的实验表明，RTOF框架显著降低了姿态估计误差，相较于基线方法有明显提升。

📝 摘要（中文）

从单目视频中进行时序3D人体姿态估计是人机交互计算机视觉中的一项挑战性任务，主要由于2D到3D转换的深度模糊性。为提高准确性并解决遮挡问题，论文引入了惯性传感器作为补充信息源。然而，如何有效整合异构传感器数据以生成物理合理的3D人体姿态仍然是一个难题。本文提出了一种新颖的框架——实时优化与融合（RTOF），通过将稀疏的惯性方向纳入参数化的人体骨架中，优化3D姿态，并利用基于视觉和惯性观测构建的能量函数减少时间抖动。实验结果表明，该方法在Total Capture数据集上显著降低了姿态估计误差。

🔬 方法详解

问题定义：本文旨在解决从单目视频中进行3D人体姿态估计时的深度模糊性和遮挡问题。现有方法在整合不同传感器数据时，往往难以生成物理上合理的3D姿态，导致估计精度不足。

核心思路：论文提出的RTOF框架通过将稀疏的惯性传感器数据与视觉信息相结合，优化人体姿态，减少时间抖动，从而提高姿态估计的准确性和流畅性。

技术框架：RTOF框架主要包括两个阶段：首先，将稀疏的惯性方向数据整合到参数化的人体骨架中；其次，基于视觉和惯性观测构建能量函数进行姿态优化。

关键创新：该框架的创新点在于有效融合了异构传感器数据，利用能量优化方法减少了时间抖动，生成了生物力学上合理的3D姿态，与现有方法相比，提升了姿态估计的准确性和稳定性。

关键设计：在设计中，采用了特定的损失函数来平衡视觉和惯性数据的影响，同时优化算法确保了实时性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Total Capture数据集上的实验结果显示，RTOF框架的姿态估计误差显著低于基线方法，具体提升幅度未知，表明该方法在准确性和稳定性方面具有显著优势。

🎯 应用场景

该研究在运动捕捉、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高3D姿态估计的准确性和流畅性，能够为人机交互、运动分析和健康监测等提供更为可靠的技术支持，未来可能推动相关技术的商业化和普及。

📄 摘要（原文）

Temporal 3D human pose estimation from monocular videos is a challenging task in human-centered computer vision due to the depth ambiguity of 2D-to-3D lifting. To improve accuracy and address occlusion issues, inertial sensor has been introduced to provide complementary source of information. However, it remains challenging to integrate heterogeneous sensor data for producing physically rational 3D human poses. In this paper, we propose a novel framework, Real-time Optimization and Fusion (RTOF), to address this issue. We first incorporate sparse inertial orientations into a parametric human skeleton to refine 3D poses in kinematics. The poses are then optimized by energy functions built on both visual and inertial observations to reduce the temporal jitters. Our framework outputs smooth and biomechanically plausible human motion. Comprehensive experiments with ablation studies demonstrate its rationality and efficiency. On Total Capture dataset, the pose estimation error is significantly decreased compared to the baseline method.