NToP: NeRF-Powered Large-scale Dataset Generation for 2D and 3D Human Pose Estimation in Top-View Fisheye Images

📄 arXiv: 2402.18196v2 📥 PDF

作者: Jingrui Yu, Dipankar Nandi, Roman Seidel, Gangolf Hirtz

分类: cs.CV, cs.GR

发布日期: 2024-02-28 (更新: 2024-04-24)

💡 一句话要点

提出NToP数据集生成方法以解决顶视鱼眼图像中的人类姿态估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 人类姿态估计 鱼眼图像 数据集生成 神经辐射场 深度学习 计算机视觉 2D/3D关键点标注

📋 核心要点

  1. 现有的顶视鱼眼图像数据集稀缺，尤其是缺乏高质量的2D和3D关键点标注，限制了人类姿态估计的研究和应用。
  2. 本文提出了一种基于神经辐射场（NeRF）的数据集生成管道，能够从现有数据集中生成适用于顶视鱼眼视角的人类姿态数据集。
  3. 实验结果表明，经过微调的ViTPose-B模型在2D HPE上AP提升33.3%，而HybrIK-Transformer模型在3D HPE上PA-MPJPE减少53.7毫米，验证了新数据集的有效性。

📝 摘要（中文）

在顶视角下使用鱼眼相机进行人类姿态估计（HPE）是一项前景广阔的创新应用领域。然而，现有的高质量2D和3D关键点标注数据集极为有限。为了解决这一问题，本文利用神经辐射场（NeRF）技术，建立了一条全面的数据集生成管道，旨在从现有的2D和3D数据集中生成适用于顶视鱼眼视角的人类姿态数据集。通过该管道，我们创建了一个新数据集NToP570K，包含超过57万张图像，并对其在2D和3D顶视人类姿态估计中的有效性进行了广泛评估。经过微调，预训练的ViTPose-B模型在我们的验证集上实现了2D HPE的AP提高33.3%；同样微调的HybrIK-Transformer模型在3D HPE上减少了53.7毫米的PA-MPJPE。

🔬 方法详解

问题定义：本文旨在解决顶视鱼眼图像中人类姿态估计数据集稀缺的问题，现有方法在这一领域的应用受到限制。

核心思路：通过利用神经辐射场（NeRF）技术，建立一条生成管道，从现有的2D和3D数据集中生成高质量的顶视鱼眼视角数据集，以填补数据不足的空白。

技术框架：整体架构包括数据集生成、数据预处理、关键点标注和模型训练等主要模块，确保生成的数据集能够有效支持后续的姿态估计任务。

关键创新：最重要的创新在于将NeRF技术应用于数据集生成，能够生成高质量的合成图像，显著提升了数据集的多样性和标注质量，与传统方法相比具有更高的灵活性和适应性。

关键设计：在参数设置上，采用了优化的NeRF模型结构，结合特定的损失函数以提高生成图像的质量，同时在网络结构上进行了针对性的调整，以适应鱼眼图像的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的ViTPose-B模型在我们的验证集上实现了2D HPE的AP提升33.3%，而HybrIK-Transformer模型在3D HPE上PA-MPJPE减少了53.7毫米，验证了NToP570K数据集在提升模型性能方面的显著效果。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实和增强现实等场景，能够为这些领域提供高质量的人类姿态估计数据，推动相关技术的发展与应用。未来，该方法也可能扩展到其他视角和场景的人类姿态估计任务中，具有广泛的实际价值。

📄 摘要（原文）

Human pose estimation (HPE) in the top-view using fisheye cameras presents a promising and innovative application domain. However, the availability of datasets capturing this viewpoint is extremely limited, especially those with high-quality 2D and 3D keypoint annotations. Addressing this gap, we leverage the capabilities of Neural Radiance Fields (NeRF) technique to establish a comprehensive pipeline for generating human pose datasets from existing 2D and 3D datasets, specifically tailored for the top-view fisheye perspective. Through this pipeline, we create a novel dataset NToP570K (NeRF-powered Top-view human Pose dataset for fisheye cameras with over 570 thousand images), and conduct an extensive evaluation of its efficacy in enhancing neural networks for 2D and 3D top-view human pose estimation. A pretrained ViTPose-B model achieves an improvement in AP of 33.3 % on our validation set for 2D HPE after finetuning on our training set. A similarly finetuned HybrIK-Transformer model gains 53.7 mm reduction in PA-MPJPE for 3D HPE on the validation set.