RoHM: Robust Human Motion Reconstruction via Diffusion

📄 arXiv: 2401.08570v2 📥 PDF

作者: Siwei Zhang, Bharat Lal Bhatnagar, Yuanlu Xu, Alexander Winkler, Petr Kadlecek, Siyu Tang, Federica Bogo

分类: cs.CV

发布日期: 2024-01-16 (更新: 2024-04-15)

备注: With the appendix included

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RoHM以解决单目视频中的人类运动重建问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类运动重建 扩散模型 鲁棒性 单目视频 3D重建 运动捕捉 去噪技术

📋 核心要点

  1. 现有方法在处理噪声和遮挡时，无法有效恢复全局一致的运动，导致重建效果不佳。
  2. RoHM通过利用扩散模型的去噪特性，将运动重建问题分解为全局轨迹和局部运动两个子任务进行处理。
  3. 在多个流行数据集上的实验表明，RoHM在定性和定量上均优于现有方法，且测试速度更快。

📝 摘要（中文）

我们提出了RoHM，一种从单目RGB(-D)视频中在噪声和遮挡情况下进行鲁棒3D人类运动重建的方法。大多数现有方法要么直接回归3D运动，要么学习数据驱动的运动先验并在测试时结合优化。前者无法恢复全局一致的运动，后者耗时且容易陷入局部最优。为克服这些缺点，我们利用扩散模型的迭代去噪特性，提出了一种新的基于扩散的运动模型，能够在噪声和遮挡输入数据的条件下重建完整且合理的运动。我们将复杂问题分解为两个子任务，分别学习全局轨迹和局部运动，并引入新型条件模块，结合迭代推理方案。实验结果表明，我们的方法在多个数据集上定性和定量上均优于现有最先进的方法，同时测试速度更快。

🔬 方法详解

问题定义：本论文旨在解决从单目RGB(-D)视频中进行鲁棒的3D人类运动重建的问题。现有方法在噪声和遮挡情况下表现不佳，无法恢复全局一致的运动，且优化过程耗时且容易陷入局部最优。

核心思路：RoHM的核心思路是利用扩散模型的迭代去噪特性，将复杂的运动重建问题分解为全局轨迹和局部运动两个子任务，通过学习两个独立模型来解决。

技术框架：RoHM的整体架构包括两个主要模块：一个用于全局轨迹重建，另一个用于局部运动重建。通过引入新型条件模块，结合迭代推理方案，实现了全局和局部运动之间的有效关联。

关键创新：RoHM的主要创新在于将扩散模型应用于运动重建，通过条件输入处理噪声和遮挡，能够生成完整且合理的运动轨迹。这一方法与传统的直接回归和数据驱动优化方法本质上不同。

关键设计：在模型设计中，采用了特定的损失函数来平衡全局和局部运动的重建质量，同时优化了网络结构以提高推理速度和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RoHM在三个流行数据集上表现出色，定性和定量结果均优于现有最先进的方法，具体提升幅度达到XX%（具体数据未知），同时测试速度显著提高，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、运动捕捉和人机交互等。通过提供鲁棒的运动重建能力，RoHM可以在多种场景中提升用户体验，推动相关技术的发展与应用。

📄 摘要（原文）

We propose RoHM, an approach for robust 3D human motion reconstruction from monocular RGB(-D) videos in the presence of noise and occlusions. Most previous approaches either train neural networks to directly regress motion in 3D or learn data-driven motion priors and combine them with optimization at test time. The former do not recover globally coherent motion and fail under occlusions; the latter are time-consuming, prone to local minima, and require manual tuning. To overcome these shortcomings, we exploit the iterative, denoising nature of diffusion models. RoHM is a novel diffusion-based motion model that, conditioned on noisy and occluded input data, reconstructs complete, plausible motions in consistent global coordinates. Given the complexity of the problem -- requiring one to address different tasks (denoising and infilling) in different solution spaces (local and global motion) -- we decompose it into two sub-tasks and learn two models, one for global trajectory and one for local motion. To capture the correlations between the two, we then introduce a novel conditioning module, combining it with an iterative inference scheme. We apply RoHM to a variety of tasks -- from motion reconstruction and denoising to spatial and temporal infilling. Extensive experiments on three popular datasets show that our method outperforms state-of-the-art approaches qualitatively and quantitatively, while being faster at test time. The code is available at https://sanweiliti.github.io/ROHM/ROHM.html.