MuCHMDPoser: Multiview RGB-Camera Full-Body Pose Tracking for Virtual Reality

📄 arXiv: 2611.03062v1 📥 PDF

作者: Antoine Maiorca, George Fletcher, Thierry Ravet, Thierry Dutoit

分类: cs.CV

发布日期: 2026-11-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出MuCHMDPoser以解决虚拟现实中的全身姿态跟踪问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 全身姿态跟踪 虚拟现实 RGB摄像头 多视角融合 实时动画 深度学习 运动捕捉

📋 核心要点

  1. 现有方法依赖于稀疏传感器，导致全身姿态跟踪准确性不足，尤其是下半身姿态的误差较大。
  2. 本文提出通过外部多视角RGB摄像头来扩展跟踪系统，结合RGB姿态估计以提高下半身跟踪精度。
  3. 实验结果表明，该方法在Nvidia RTX3080 GPU上实现了60 FPS的动画效果，显著降低了跟踪误差。

📝 摘要（中文）

在虚拟现实（VR）中，依赖于消费级稀疏传感器（如头戴显示器和手持控制器）进行准确的全身跟踪存在严重的约束问题。这些设备仅能跟踪三个上半身关节，导致下半身姿态的跟踪误差显著。为了解决这一问题，本文提出通过外部多视角RGB摄像头扩展跟踪设置，结合RGB基础的姿态估计显著降低下半身跟踪误差。我们还评估了一种仅需一次的HMD-摄像头校准程序，无需任何物理标记。最终，我们在Nvidia RTX3080 GPU上实现了整体框架的端到端动画，达到60帧每秒的性能。

🔬 方法详解

问题定义：本文旨在解决虚拟现实中全身姿态跟踪的准确性问题，现有方法仅依赖于稀疏传感器，导致下半身姿态跟踪误差显著。

核心思路：通过引入外部多视角RGB摄像头，结合RGB基础的姿态估计，来增强下半身的跟踪精度，从而克服现有方法的局限性。

技术框架：整体框架包括多个模块：首先是HMD与RGB摄像头的校准，其次是姿态估计模块，最后是动画生成模块。该框架实现了从输入到输出的端到端处理。

关键创新：最重要的创新在于提出了一种无需物理标记的HMD-摄像头校准方法，以及通过多视角RGB摄像头显著提升下半身姿态跟踪的能力。

关键设计：在技术细节上，采用了特定的损失函数来优化姿态估计的准确性，并设计了适合实时处理的网络结构，以确保在高帧率下的流畅动画效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用MuCHMDPoser框架后，下半身姿态跟踪误差显著降低，整体性能在Nvidia RTX3080 GPU上达到60 FPS，展现出优于传统方法的优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实游戏、运动训练、医疗康复等。通过提高全身姿态跟踪的准确性，可以为用户提供更沉浸的体验和更精准的反馈，推动相关技术的发展与应用。

📄 摘要（原文）

Accurate full-body tracking in Virtual Reality (VR) is heavily underconstrained when relying solely on consumer-grade sparse sensors, such as Head-Mounted Displays (HMDs) and handheld controllers. Indeed, the self-avatar full-body pose must be inferred based on the 3 available upper-body joints tracked by these devices. This leads to significant tracking error, especially in lower-body pose. To overcome this issue, we propose to extend the tracking setup with external multiview RGB cameras. We show that integrating RGB-based pose estimation this framework is able to significantly decrease lower-body tracking errors, even under common artifacts in RGB-based estimates. Additionally, we evaluate a only-once HMD-camera calibration procedure that does not require any physical markers. We finally propose an implementation of the overall framework, achieving an end-to-end animation at 60 FPS on a Nvidia RTX3080 GPU. Codes are available at https://github.com/antmaio/MuCHMDPoser.