SimpleEgo: Predicting Probabilistic Body Pose from Egocentric Cameras
作者: Hanz Cuevas-Velasquez, Charlie Hewitt, Sadegh Aliakbarian, Tadas Baltrušaitis
分类: cs.CV
发布日期: 2024-01-26
备注: Accepted in 3DV 2024
💡 一句话要点
提出SimpleEgo以解决头戴设备下视摄像头的人体姿态估计问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人体姿态估计 头戴设备 概率模型 深度学习 计算机视觉 合成数据集
📋 核心要点
- 现有方法在下视摄像头下的人体姿态估计中面临身体部位超出图像范围和遮挡的问题。
- 我们提出了一种新方法，通过回归概率关节旋转来解决姿态估计问题，避免了使用复杂的2D热图。
- 实验结果表明，我们的方法在每个关节位置误差上整体降低了23%，下半身降低了58%，且模型更轻量化。
📝 摘要（中文）
本研究解决了从头戴设备的下视摄像头进行人体姿态估计的问题。由于身体部位常常超出图像范围或被遮挡，现有方法通过鱼眼镜头捕获更广的视角，但存在硬件设计问题。我们提出了一种新的方法，直接从常规的直线镜头图像中回归概率关节旋转，使用矩阵Fisher分布表示。这种方法不仅量化了姿态的不确定性，还简化了深度神经网络架构，减少了计算需求。我们还引入了SynthEgo数据集，包含60K张立体图像，展示了良好的泛化能力。我们的模型在降低每个关节位置误差方面取得了23%的整体提升和58%的下半身提升，同时参数量减少了八倍，运行速度提高了两倍。
🔬 方法详解
问题定义：本研究旨在解决从头戴设备下视摄像头进行人体姿态估计的挑战，现有方法依赖鱼眼镜头或复杂的网络架构，导致硬件设计和计算资源问题。
核心思路：我们的方法通过直接回归概率关节旋转，使用矩阵Fisher分布来表示姿态，从而量化不确定性并处理超出图像范围的关节。
技术框架：整体架构包括图像输入模块、概率关节旋转回归模块和姿态输出模块。该框架简化了传统的2D热图生成过程，减少了计算复杂度。
关键创新：最重要的创新在于使用矩阵Fisher分布来表示关节旋转，这一方法与现有的2D热图生成和3D提升方法有本质区别，能够有效处理遮挡和超出框架的问题。
关键设计：我们设计了轻量级的深度神经网络架构，减少了参数数量，并采用了适合的损失函数来优化姿态估计的准确性。
🖼️ 关键图片
📊 实验亮点
我们的实验结果显示，使用SimpleEgo方法在每个关节位置误差上整体降低了23%，下半身降低了58%。此外，该模型的参数量减少了八倍，运行速度提高了两倍，相较于当前的最先进技术具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够提升用户体验和交互精度。通过改进人体姿态估计技术，未来可以在运动分析、健康监测等领域发挥重要作用。
📄 摘要（原文）
Our work addresses the problem of egocentric human pose estimation from downwards-facing cameras on head-mounted devices (HMD). This presents a challenging scenario, as parts of the body often fall outside of the image or are occluded. Previous solutions minimize this problem by using fish-eye camera lenses to capture a wider view, but these can present hardware design issues. They also predict 2D heat-maps per joint and lift them to 3D space to deal with self-occlusions, but this requires large network architectures which are impractical to deploy on resource-constrained HMDs. We predict pose from images captured with conventional rectilinear camera lenses. This resolves hardware design issues, but means body parts are often out of frame. As such, we directly regress probabilistic joint rotations represented as matrix Fisher distributions for a parameterized body model. This allows us to quantify pose uncertainties and explain out-of-frame or occluded joints. This also removes the need to compute 2D heat-maps and allows for simplified DNN architectures which require less compute. Given the lack of egocentric datasets using rectilinear camera lenses, we introduce the SynthEgo dataset, a synthetic dataset with 60K stereo images containing high diversity of pose, shape, clothing and skin tone. Our approach achieves state-of-the-art results for this challenging configuration, reducing mean per-joint position error by 23% overall and 58% for the lower body. Our architecture also has eight times fewer parameters and runs twice as fast as the current state-of-the-art. Experiments show that training on our synthetic dataset leads to good generalization to real world images without fine-tuning.