Enhanced Spatio-Temporal Context for Temporally Consistent Robust 3D Human Motion Recovery from Monocular Videos
作者: Sushovan Chanda, Amogh Tiwari, Lokender Tiwari, Brojeshwar Bhowmick, Avinash Sharma, Hrishav Barua
分类: cs.CV
发布日期: 2023-11-20
💡 一句话要点
提出一种新方法以解决单目视频中3D人类运动恢复问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D人体运动恢复 单目视频 时空特征聚合 自注意力机制 身体感知特征 运动分析 虚拟现实 增强现实
📋 核心要点
- 现有方法在单目视频中恢复3D人体运动时，面临遮挡、光照不足和复杂姿态等挑战，导致结果不稳定。
- 本文提出了一种基于身体感知特征的时空特征聚合方法，结合自相似性和自注意力机制，实现了时间一致的运动估计。
- 实验表明，该方法在加速度误差上显著低于现有方法，并在复杂场景下表现出更好的鲁棒性和准确性。
📝 摘要（中文）
从单目视频中恢复时间一致的3D人体姿态、形状和运动是一项具有挑战性的任务，面临自遮挡、光照不足、复杂的关节姿态、深度模糊和标注数据稀缺等问题。简单的逐帧估计不足以解决这些问题，导致结果抖动且不可信。本文提出了一种新颖的方法，通过使用身体感知特征表示和独立的逐帧姿态与相机初始化，结合自相似性和自注意力机制，增强了每帧的时空上下文。实验结果表明，该方法在多个基准数据集上显著降低了加速度误差，并在所有关键评估指标上超越了现有的最先进方法，尤其在部分遮挡、复杂姿态和低光照等复杂场景中表现优异。
🔬 方法详解
问题定义：本文旨在解决从单目视频中恢复时间一致的3D人体姿态和运动的问题。现有方法往往依赖于逐帧估计，导致结果抖动且不可信，尤其在复杂场景中表现不佳。
核心思路：论文提出了一种新颖的时空特征聚合方法，利用身体感知特征和独立的逐帧姿态与相机初始化，结合自相似性和自注意力机制，增强了每帧的时空上下文，从而提高了运动估计的准确性和一致性。
技术框架：整体架构包括特征提取模块、逐帧初始化模块和时空特征聚合模块。特征提取模块使用身体感知特征，逐帧初始化模块独立处理每一帧的姿态和相机参数，时空特征聚合模块则结合过去和未来帧的信息进行综合分析。
关键创新：最重要的创新在于引入了身体感知特征和时空特征聚合机制，区别于传统方法的通用特征提取，显著提升了在复杂场景中的表现。
关键设计：在网络结构上，采用了LSTM进行姿态和形状参数的进一步优化，损失函数设计上注重加速度误差的降低，确保模型在动态场景中的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在多个基准数据集上显著降低了加速度误差，具体性能提升幅度超过现有最先进方法，尤其在处理部分遮挡和复杂姿态时表现出色，验证了其在低光照条件下的鲁棒性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在虚拟现实、增强现实、运动分析和人机交互等领域。通过提高3D人体运动恢复的准确性和一致性，可以为这些应用提供更为可靠的基础，推动相关技术的发展与应用。
📄 摘要（原文）
Recovering temporally consistent 3D human body pose, shape and motion from a monocular video is a challenging task due to (self-)occlusions, poor lighting conditions, complex articulated body poses, depth ambiguity, and limited availability of annotated data. Further, doing a simple perframe estimation is insufficient as it leads to jittery and implausible results. In this paper, we propose a novel method for temporally consistent motion estimation from a monocular video. Instead of using generic ResNet-like features, our method uses a body-aware feature representation and an independent per-frame pose and camera initialization over a temporal window followed by a novel spatio-temporal feature aggregation by using a combination of self-similarity and self-attention over the body-aware features and the perframe initialization. Together, they yield enhanced spatiotemporal context for every frame by considering remaining past and future frames. These features are used to predict the pose and shape parameters of the human body model, which are further refined using an LSTM. Experimental results on the publicly available benchmark data show that our method attains significantly lower acceleration error and outperforms the existing state-of-the-art methods over all key quantitative evaluation metrics, including complex scenarios like partial occlusion, complex poses and even relatively low illumination.