MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction
作者: Yitao Zhu, Sheng Wang, Mengjie Xu, Zixu Zhuang, Zhixin Wang, Kaidong Wang, Han Zhang, Qian Wang
分类: cs.CV
发布日期: 2024-03-08 (更新: 2024-08-24)
🔗 代码/项目: GITHUB
💡 一句话要点
提出无标定相机混合方法以解决3D人体重建问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 3D人体重建 无标定相机 动态融合 自遮挡处理 深度学习
📋 核心要点
- 现有方法在多视角数据融合中依赖复杂的相机标定，且未能有效处理自遮挡和形状估计的连续性问题。
- 本研究提出了一种新方法，通过无标定相机视角重建3D人体，利用预训练编码器和神经网络动态融合多视角数据。
- 实验结果表明，该方法在两个公共数据集上表现优异，相较于SMPL模型，SMPL-X模型在细节和准确性上有显著提升。
📝 摘要（中文）
多台相机可以全面覆盖一个人的多视角视频，融合这些多视角数据对于行为分析等任务至关重要。然而，传统的相机标定过程复杂，且以往研究未能充分考虑多视角下自遮挡和人体形状估计的连续性问题。本研究提出了一种从多台无标定相机视角重建3D人体的方法。我们利用预训练的人体编码器处理每个相机视角，重建人体模型和参数，并预测相机位置。通过开发一个神经网络为每个关节分配权重，基于关节距离的估计分布，我们实现了动态融合，允许面部表情和身体形状的无缝整合。我们的算法在两个公共数据集上表现优异，超越了SMPL模型，扩展至SMPL-X模型，支持灵活的相机部署，具有广泛的应用潜力。
🔬 方法详解
问题定义：本研究旨在解决从多台无标定相机视角重建3D人体模型的挑战。现有方法通常依赖复杂的相机标定，且未能有效处理多视角下的自遮挡和人体形状的连续性问题。
核心思路：我们的方法通过利用预训练的人体编码器独立处理每个相机视角，重建人体模型和参数，并预测相机位置。通过训练神经网络为每个关节分配权重，基于关节距离的估计分布，实现了动态融合。
技术框架：整体架构包括多个模块：首先，使用预训练编码器处理每个相机视角；其次，利用神经网络为关节分配权重；最后，进行动态融合以整合面部表情和身体形状。
关键创新：本研究的主要创新在于提出了一种无需相机标定的3D人体重建方法，并通过动态融合技术提升了模型的细节和准确性。与现有方法相比，我们的方法在处理自遮挡和形状连续性方面具有显著优势。
关键设计：在网络结构上，我们设计了一个专门的神经网络来处理关节权重分配，损失函数则考虑了关节距离的分布，以确保重建的准确性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，我们的方法在两个公共数据集上表现优异，相较于传统的SMPL模型，SMPL-X模型在细节和准确性上有显著提升，具体性能指标未知，展示了在动态融合和自遮挡处理方面的优势。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实、运动分析和人机交互等。通过支持灵活的相机部署，该方法可以广泛应用于各种场景，提升人机交互的自然性和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multiple cameras can provide comprehensive multi-view video coverage of a person. Fusing this multi-view data is crucial for tasks like behavioral analysis, although it traditionally requires camera calibration, a process that is often complex. Moreover, previous studies have overlooked the challenges posed by self-occlusion under multiple views and the continuity of human body shape estimation. In this study, we introduce a method to reconstruct the 3D human body from multiple uncalibrated camera views. Initially, we utilize a pre-trained human body encoder to process each camera view individually, enabling the reconstruction of human body models and parameters for each view along with predicted camera positions. Rather than merely averaging the models across views, we develop a neural network trained to assign weights to individual views for all human body joints, based on the estimated distribution of joint distances from each camera. Additionally, we focus on the mesh surface of the human body for dynamic fusion, allowing for the seamless integration of facial expressions and body shape into a unified human body model. Our method has shown excellent performance in reconstructing the human body on two public datasets, advancing beyond previous work from the SMPL model to the SMPL-X model. This extension incorporates more complex hand poses and facial expressions, enhancing the detail and accuracy of the reconstructions. Crucially, it supports the flexible ad-hoc deployment of any number of cameras, offering significant potential for various applications. Our code is available at https://github.com/AbsterZhu/MUC.