VideoMDM: Towards 3D Human Motion Generation From 2D Supervision
作者: Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany
分类: cs.LG, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出VideoMDM以解决3D人类动作生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D动作生成 扩散模型 无监督学习 2D到3D转换 人类动作识别
📋 核心要点
- 现有方法在没有3D真实数据的情况下，难以有效生成高质量的3D人类动作。
- 论文提出的VideoMDM框架通过2D姿态直接训练3D动作先验，利用扩散模型进行去噪和重投影监督。
- 在HumanML3D等数据集上，VideoMDM的性能接近完全3D监督的方法，且在真实视频数据集上表现出色。
📝 摘要（中文）
我们提出了VideoMDM，一个基于扩散的框架，直接从单目视频中提取的准确2D姿态训练3D人类动作先验，而无需任何3D真实数据。预训练的2D到3D转换器提供近似的3D姿态序列，作为噪声教师：这些序列经过扩散、在3D中去噪，并通过重投影与准确的关键点进行2D监督。我们证明，在温和假设下，深度加权的2D重投影损失在期望上等价于直接的3D监督，并将标准的3D运动正则化方法（速度一致性和过参数化表示对齐）适应于这种2D设置。与仅在推理时将2D提升到3D的方法不同，VideoMDM在训练过程中学习一致的3D运动流形。在HumanML3D数据集上，该方法几乎缩小了与完全3D监督MDM之间的差距（FID 0.88对比0.54）；在真实视频数据集Fit3D和NBA上，该方法学习生成了一致受到人类偏好的动作，取得了强有力的定量结果。
🔬 方法详解
问题定义：本论文旨在解决在缺乏3D真实数据的情况下，如何有效生成高质量的3D人类动作的问题。现有方法通常依赖于3D监督，限制了其应用范围。
核心思路：VideoMDM通过利用从单目视频中提取的准确2D姿态，结合预训练的2D到3D转换器，构建了一个无监督的3D动作生成框架。该方法通过扩散模型进行去噪，并在2D空间中进行监督，从而实现了高效的3D动作生成。
技术框架：VideoMDM的整体架构包括三个主要模块：首先，使用2D到3D转换器生成近似的3D姿态序列；其次，利用扩散模型对这些序列进行去噪；最后，通过重投影将预测结果与真实2D关键点进行比较，进行监督学习。
关键创新：该研究的主要创新在于提出了一种新的深度加权2D重投影损失，该损失在期望上等价于直接的3D监督。这一创新使得在没有3D真实数据的情况下，仍能有效训练3D动作生成模型。
关键设计：论文中采用的损失函数包括深度加权的2D重投影损失，以及标准的3D运动正则化方法，如速度一致性和过参数化表示对齐。这些设计确保了模型在2D监督下仍能学习到一致的3D运动流形。
🖼️ 关键图片
📊 实验亮点
在HumanML3D数据集上，VideoMDM的FID得分为0.88，接近完全3D监督的0.54，显示出其在生成3D人类动作方面的有效性。此外，在真实视频数据集Fit3D和NBA上，该方法生成的动作得到了人类的高度偏好，验证了其实际应用价值。
🎯 应用场景
该研究的潜在应用领域包括动画制作、虚拟现实和增强现实等场景，能够为人类动作生成提供高效的解决方案。未来，该方法可能推动人机交互、游戏开发等领域的进步，提升用户体验和交互质量。
📄 摘要（原文）
We introduce VideoMDM, a diffusion-based framework that trains 3D human motion priors directly from accurate 2D poses extracted from monocular videos, without any 3D ground truth. A pretrained 2D-to-3D lifter provides approximate 3D pose sequences that serve as a noisy teacher: these are diffused, denoised by the model in 3D, and supervised in 2D by reprojecting the prediction and comparing against accurate keypoints. We show that, under mild assumptions, a depth-weighted 2D reprojection loss is equivalent in expectation to direct 3D supervision, and we adapt standard 3D motion regularizers - velocity consistency and over-parameterized representation alignment - to this 2D setting. Unlike methods that lift 2D to 3D only at inference, VideoMDM learns a coherent 3D motion manifold during training. On HumanML3D it nearly closes the gap to fully 3D-supervised MDM (FID 0.88 vs 0.54); On real video datasets Fit3D and NBA the method learns to generate motions consistently preferred by humans, with strong quantitative results.