VideoMDM: Towards 3D Human Motion Generation From 2D Supervision

📄 arXiv: 2606.13364v1 📥 PDF

作者: Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany

分类: cs.LG, cs.CV

发布日期: 2026-06-11

备注: https://videomdm.github.io/

💡 一句话要点

提出VideoMDM以解决3D人类动作生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D动作生成 扩散模型 2D到3D提升 运动正则化 人类动作合成

📋 核心要点

  1. 现有方法在生成3D人类动作时依赖于3D真实数据，限制了其应用和灵活性。
  2. 论文提出的VideoMDM框架通过2D姿态直接训练3D动作先验，避免了对3D真实数据的需求。
  3. 在HumanML3D数据集上，VideoMDM的FID值为0.88，接近完全3D监督的0.54，且在真实视频数据集上表现优异。

📝 摘要（中文）

我们提出了VideoMDM，这是一个基于扩散的框架，能够直接从单目视频中提取的准确2D姿态训练3D人类动作先验，而无需任何3D真实数据。预训练的2D到3D提升器提供了近似的3D姿态序列，作为噪声教师：这些序列在3D中被扩散和去噪，并通过重投影预测与准确关键点进行比较以进行2D监督。我们证明，在温和假设下，深度加权的2D重投影损失在期望上等价于直接的3D监督，并将标准的3D运动正则化器（速度一致性和过参数化表示对齐）适应于这种2D设置。与仅在推理时将2D提升为3D的方法不同，VideoMDM在训练过程中学习一致的3D运动流形。在HumanML3D数据集上，该方法几乎缩小了与完全3D监督MDM的差距（FID 0.88对比0.54）；在真实视频数据集Fit3D和NBA上，该方法学习生成了一致受到人类偏好的动作，取得了强劲的定量结果。

🔬 方法详解

问题定义：本论文旨在解决如何在没有3D真实数据的情况下生成3D人类动作的问题。现有方法通常依赖于3D标注数据，限制了其在实际应用中的灵活性和可扩展性。

核心思路：论文提出的VideoMDM框架利用从单目视频中提取的准确2D姿态，通过一个预训练的2D到3D提升器生成近似的3D姿态序列，作为噪声教师进行训练。这种方法允许模型在2D监督下学习3D动作流形。

技术框架：VideoMDM的整体架构包括三个主要模块：首先，使用2D到3D提升器生成近似3D姿态；其次，模型在3D空间中对这些姿态进行扩散和去噪；最后，通过重投影将预测结果与2D关键点进行比较，实现2D监督。

关键创新：最重要的技术创新在于提出了深度加权的2D重投影损失，该损失在期望上等价于直接的3D监督。这一创新使得模型能够在没有3D真实数据的情况下有效学习3D动作。

关键设计：论文中设计了标准的3D运动正则化器，包括速度一致性和过参数化表示对齐，并将其适应于2D设置。此外，损失函数的设计考虑了深度加权，以提高重投影的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanML3D数据集上，VideoMDM的FID值为0.88，接近完全3D监督的0.54，显示出显著的性能提升。此外，在真实视频数据集Fit3D和NBA上，该方法生成的动作得到了人类的高度偏好，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括动画制作、虚拟现实、游戏开发等。通过生成高质量的3D人类动作，VideoMDM能够为这些领域提供更为真实和自然的角色动作表现，提升用户体验。未来，该技术可能在实时动作捕捉和人机交互等领域发挥重要作用。

📄 摘要（原文）

We introduce VideoMDM, a diffusion-based framework that trains 3D human motion priors directly from accurate 2D poses extracted from monocular videos, without any 3D ground truth. A pretrained 2D-to-3D lifter provides approximate 3D pose sequences that serve as a noisy teacher: these are diffused, denoised by the model in 3D, and supervised in 2D by reprojecting the prediction and comparing against accurate keypoints. We show that, under mild assumptions, a depth-weighted 2D reprojection loss is equivalent in expectation to direct 3D supervision, and we adapt standard 3D motion regularizers - velocity consistency and over-parameterized representation alignment - to this 2D setting. Unlike methods that lift 2D to 3D only at inference, VideoMDM learns a coherent 3D motion manifold during training. On HumanML3D it nearly closes the gap to fully 3D-supervised MDM (FID 0.88 vs 0.54); On real video datasets Fit3D and NBA the method learns to generate motions consistently preferred by humans, with strong quantitative results.