MMVP: A Multimodal MoCap Dataset with Vision and Pressure Sensors

📄 arXiv: 2403.17610v2 📥 PDF

作者: He Zhang, Shenghao Ren, Haolei Yuan, Jianhui Zhao, Fan Li, Shuangpeng Sun, Zhenghao Liang, Tao Yu, Qiu Shen, Xun Cao

分类: cs.CV

发布日期: 2024-03-26 (更新: 2024-03-30)

备注: CVPR2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MMVP数据集以解决快速人类运动捕捉中的足部接触识别问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 运动捕捉 足部接触识别 RGBD传感器 压力传感器 姿态拟合 虚拟现实 增强现实

📋 核心要点

  1. 现有方法在快速人类运动捕捉中，足部接触的识别准确性低，且多为小范围和慢速运动设计。
  2. 本文提出MMVP数据集，结合视觉和压力传感器，提供准确的足底压力信号与RGBD数据同步，提升运动捕捉的精度。
  3. 实验表明，RGBD-P SMPL拟合方法在性能上显著优于传统视觉捕捉，VP-MoCap在足部接触和全局位移估计上也表现出色。

📝 摘要（中文）

足部接触是人类运动捕捉、理解和生成的重要线索。现有数据集通过视觉匹配或压力信号注释足部接触，但准确性低或仅适用于小范围和慢速运动。为填补这一空白，本文提出了一个多模态运动捕捉数据集MMVP，提供与RGBD观察同步的准确且密集的足底压力信号，适用于形状估计、姿态拟合和全局位移跟踪。通过RGBD-P SMPL拟合方法和基于单目视频的VP-MoCap框架进行验证，实验结果显示，RGBD-P SMPL拟合显著优于纯视觉运动捕捉，VP-MoCap在足部接触和全局位移估计准确性上超越了现有最优方法。

🔬 方法详解

问题定义：本文旨在解决现有运动捕捉数据集中足部接触识别准确性不足的问题，尤其是在快速运动场景下，现有方法往往无法提供足够的准确性和密集注释。

核心思路：提出MMVP数据集，通过结合视觉和压力传感器的数据，提供高精度的足底压力信号，旨在提升运动捕捉的整体效果，尤其是在快速和大范围运动中。

技术框架：MMVP数据集的整体架构包括数据采集模块（RGBD和压力传感器）、数据同步模块和数据注释模块，确保数据的准确性和一致性。实验中使用RGBD-P SMPL拟合方法和VP-MoCap框架进行验证。

关键创新：MMVP数据集的最大创新在于其多模态特性，结合了视觉和压力信号，提供了更为准确和密集的足部接触注释，这在现有数据集中是前所未有的。

关键设计：在数据采集过程中，采用高频率的压力传感器和高分辨率的RGBD摄像头，确保数据的时效性和准确性。同时，设计了适应快速运动的损失函数和网络结构，以提高拟合精度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，RGBD-P SMPL拟合方法在运动捕捉精度上显著优于传统的纯视觉方法，VP-MoCap在足部接触和全局位移估计的准确性上超越了现有最优技术，提升幅度明显，展示了MMVP数据集的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、运动分析和人机交互等。通过提供高精度的运动捕捉数据，MMVP数据集能够促进相关技术的发展，并为各种应用提供可靠的数据支持，推动运动捕捉技术的实际应用和研究进展。

📄 摘要（原文）

Foot contact is an important cue for human motion capture, understanding, and generation. Existing datasets tend to annotate dense foot contact using visual matching with thresholding or incorporating pressure signals. However, these approaches either suffer from low accuracy or are only designed for small-range and slow motion. There is still a lack of a vision-pressure multimodal dataset with large-range and fast human motion, as well as accurate and dense foot-contact annotation. To fill this gap, we propose a Multimodal MoCap Dataset with Vision and Pressure sensors, named MMVP. MMVP provides accurate and dense plantar pressure signals synchronized with RGBD observations, which is especially useful for both plausible shape estimation, robust pose fitting without foot drifting, and accurate global translation tracking. To validate the dataset, we propose an RGBD-P SMPL fitting method and also a monocular-video-based baseline framework, VP-MoCap, for human motion capture. Experiments demonstrate that our RGBD-P SMPL Fitting results significantly outperform pure visual motion capture. Moreover, VP-MoCap outperforms SOTA methods in foot-contact and global translation estimation accuracy. We believe the configuration of the dataset and the baseline frameworks will stimulate the research in this direction and also provide a good reference for MoCap applications in various domains. Project page: https://metaverse-ai-lab-thu.github.io/MMVP-Dataset/.