Ultra Inertial Poser: Scalable Motion Capture and Tracking from Sparse Inertial Sensors and Ultra-Wideband Ranging

📄 arXiv: 2404.19541v1 📥 PDF

作者: Rayan Armani, Changlin Qian, Jiaxi Jiang, Christian Holz

分类: cs.CV, cs.AI, cs.GR, eess.SP

发布日期: 2024-04-30

备注: Accepted by SIGGRAPH 2024, Code: https://github.com/eth-siplab/UltraInertialPoser

💡 一句话要点

提出Ultra Inertial Poser以解决稀疏传感器运动捕捉精度问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动捕捉 姿态估计 惯性传感器 超宽带技术 机器学习 数据融合 虚拟现实 增强现实

📋 核心要点

  1. 现有的基于惯性传感器的运动捕捉系统存在漂移和抖动的问题，导致跟踪精度不足。
  2. Ultra Inertial Poser通过动态估计传感器间距离来约束惯性跟踪中的漂移和抖动，提升了姿态估计的准确性。
  3. 实验结果显示，该方法在位置误差和抖动方面均有显著改善，位置误差降低了22%，抖动减少了97%。

📝 摘要（中文）

尽管基于相机的捕捉系统仍然是记录人类运动的金标准，但基于稀疏可穿戴传感器的学习型跟踪系统正在逐渐受到关注。大多数系统使用惯性传感器，但由于漂移和抖动的影响，跟踪精度受到限制。本文提出了一种新颖的3D全身姿态估计方法Ultra Inertial Poser，通过传感器间距离约束惯性跟踪中的漂移和抖动。该方法利用轻量级嵌入式跟踪器动态估计稀疏传感器设置中的距离，并融合这些距离与每个传感器估计的3D状态。实验结果表明，该方法在性能上优于现有技术，显著降低了位置误差和抖动。

🔬 方法详解

问题定义：本文旨在解决基于稀疏惯性传感器的运动捕捉系统中漂移和抖动导致的跟踪精度不足的问题。现有方法在使用惯性传感器时，常常受到环境干扰和传感器本身噪声的影响，导致运动捕捉的准确性降低。

核心思路：Ultra Inertial Poser的核心思路是通过动态估计传感器间的距离来约束惯性跟踪中的漂移和抖动。这一方法不需要固定的参考锚点，利用超宽带无线电技术增强了低成本惯性测量单元的性能。

技术框架：该方法的整体架构包括三个主要模块：首先，使用轻量级嵌入式跟踪器估计传感器间的距离；其次，融合这些距离与每个传感器的3D状态；最后，利用图基机器学习模型处理融合后的数据，估计出完整的3D姿态和位移。

关键创新：本研究的关键创新在于引入了超宽带无线电技术来动态估计传感器间的距离，从而有效地约束了惯性传感器的漂移和抖动。这一方法与传统的依赖于固定参考点的技术有本质区别，显著提升了灵活性和准确性。

关键设计：在模型训练过程中，使用了合成的惯性测量和距离估计数据，基于AMASS运动捕捉数据库。损失函数设计上，考虑了位置误差和抖动的综合影响，以优化模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Ultra Inertial Poser在位置误差上从13.62cm降低至10.65cm，提升幅度达到22%；抖动方面则从1.56km/s³降低至0.055km/s³，减少幅度高达97%。这些结果显示了该方法在运动捕捉精度上的显著优势。

🎯 应用场景

Ultra Inertial Poser具有广泛的应用潜力，尤其在虚拟现实、增强现实和运动分析等领域。其高精度的运动捕捉能力可以为游戏开发、运动训练和生物力学研究提供重要支持，推动相关技术的进一步发展和应用。

📄 摘要（原文）

While camera-based capture systems remain the gold standard for recording human motion, learning-based tracking systems based on sparse wearable sensors are gaining popularity. Most commonly, they use inertial sensors, whose propensity for drift and jitter have so far limited tracking accuracy. In this paper, we propose Ultra Inertial Poser, a novel 3D full body pose estimation method that constrains drift and jitter in inertial tracking via inter-sensor distances. We estimate these distances across sparse sensor setups using a lightweight embedded tracker that augments inexpensive off-the-shelf 6D inertial measurement units with ultra-wideband radio-based ranging$-$dynamically and without the need for stationary reference anchors. Our method then fuses these inter-sensor distances with the 3D states estimated from each sensor Our graph-based machine learning model processes the 3D states and distances to estimate a person's 3D full body pose and translation. To train our model, we synthesize inertial measurements and distance estimates from the motion capture database AMASS. For evaluation, we contribute a novel motion dataset of 10 participants who performed 25 motion types, captured by 6 wearable IMU+UWB trackers and an optical motion capture system, totaling 200 minutes of synchronized sensor data (UIP-DB). Our extensive experiments show state-of-the-art performance for our method over PIP and TIP, reducing position error from $13.62$ to $10.65cm$ ($22\%$ better) and lowering jitter from $1.56$ to $0.055km/s^3$ (a reduction of $97\%$).