Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot

📄 arXiv: 2402.14654v2 📥 PDF

作者: Fabien Baradel, Matthieu Armando, Salma Galaaoui, Romain Brégier, Philippe Weinzaepfel, Grégory Rogez, Thomas Lucas

分类: cs.CV

发布日期: 2024-02-22 (更新: 2024-07-24)

备注: Accepted at ECCV'24 - Code: https://github.com/naver/multi-hmr

💡 一句话要点

提出Multi-HMR以解决单张RGB图像中的多人体全身网格恢复问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 多人体恢复 3D网格重建 视觉变换器 交叉注意力 CUFFS数据集 手部姿态 面部表情 计算机视觉

📋 核心要点

  1. 现有方法在单张图像中恢复多人的全身网格时，难以同时捕捉细致的手部和面部姿态。
  2. 论文提出了一种新的交叉注意力模块HPH，结合CUFFS数据集，增强了对手部和面部的细致预测能力。
  3. 实验结果表明，使用ViT-S骨干网络的模型在448x448图像上表现出色，且在更高分辨率下达到了最先进的结果。

📝 摘要（中文）

我们提出了Multi-HMR，这是一个强大的单次模型，用于从单张RGB图像中恢复多人的3D人类网格。该模型的预测涵盖整个身体，包括手部和面部表情，使用SMPL-X参数模型和相机坐标系中的3D位置。模型通过预测粗略的2D热图来检测人物，使用标准的视觉变换器（ViT）作为骨干网络。然后，利用一种新的交叉注意力模块——人类预测头（HPH），预测每个检测到的人体的全身姿态、形状和3D位置。为了提高对手部和面部姿态的预测精度，我们引入了CUFFS数据集，包含多种手部姿势的全身近景图像。Multi-HMR还可以选择性地考虑相机内参，通过对每个图像标记编码相机光线方向。该设计在全身和仅身体的基准测试中均表现出色。

🔬 方法详解

问题定义：本论文旨在解决从单张RGB图像中恢复多人体全身网格的挑战。现有方法在细致捕捉手部和面部姿态时存在困难，尤其是在缺乏明确的部位裁剪时。

核心思路：论文的核心思路是通过引入人类预测头（HPH）模块，利用交叉注意力机制来同时处理多个人体的姿态、形状和3D位置预测，从而提高整体预测精度。

技术框架：整体架构包括两个主要阶段：首先，通过ViT骨干网络生成粗略的2D热图以检测人物位置；然后，利用HPH模块对每个检测到的人进行全身姿态、形状和3D位置的预测。

关键创新：最重要的技术创新点在于HPH模块的设计，它允许每个查询关注整个特征集，从而实现对细节的更好捕捉。此外，CUFFS数据集的引入为模型提供了更丰富的训练数据，特别是在手部姿态方面。

关键设计：模型采用ViT-S作为骨干网络，输入图像分辨率为448x448。损失函数设计考虑了全身和局部细节的平衡，确保模型在不同任务上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ViT-S骨干网络的Multi-HMR在448x448图像上实现了快速且具有竞争力的性能，且在更高分辨率下达到了最先进的结果。相较于基线方法，模型在全身和局部细节的预测上均有显著提升，尤其是在手部和面部姿态的恢复上。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、动画制作和人机交互等。通过准确恢复多人的3D网格，能够提升用户体验，促进更自然的交互方式，未来可能在社交媒体和游戏开发中发挥重要作用。

📄 摘要（原文）

We present Multi-HMR, a strong sigle-shot model for multi-person 3D human mesh recovery from a single RGB image. Predictions encompass the whole body, i.e., including hands and facial expressions, using the SMPL-X parametric model and 3D location in the camera coordinate system. Our model detects people by predicting coarse 2D heatmaps of person locations, using features produced by a standard Vision Transformer (ViT) backbone. It then predicts their whole-body pose, shape and 3D location using a new cross-attention module called the Human Prediction Head (HPH), with one query attending to the entire set of features for each detected person. As direct prediction of fine-grained hands and facial poses in a single shot, i.e., without relying on explicit crops around body parts, is hard to learn from existing data, we introduce CUFFS, the Close-Up Frames of Full-Body Subjects dataset, containing humans close to the camera with diverse hand poses. We show that incorporating it into the training data further enhances predictions, particularly for hands. Multi-HMR also optionally accounts for camera intrinsics, if available, by encoding camera ray directions for each image token. This simple design achieves strong performance on whole-body and body-only benchmarks simultaneously: a ViT-S backbone on $448{\times}448$ images already yields a fast and competitive model, while larger models and higher resolutions obtain state-of-the-art results.