MAMMA: Markerless & Automatic Multi-Person Motion Action Capture
作者: Hanz Cuevas-Velasquez, Anastasios Yiannakidis, Soyong Shin, Giorgio Becherini, Markus Höschle, Joachim Tesch, Taylor Obersat, Tsvetelina Alexiadis, Eni Halilaj, Michael J. Black
分类: cs.CV
发布日期: 2025-06-16 (更新: 2026-04-07)
备注: Main paper and supplementary material
期刊: CVPR2026
💡 一句话要点
提出MAMMA以解决无标记多人的动作捕捉问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 无标记动作捕捉 多视角视频 SMPL-X参数 深度学习 人际交互 数据集构建 计算机视觉
📋 核心要点
- 现有的动作捕捉系统依赖物理标记，虽然精度高，但成本高且耗时，且难以处理复杂的交互和遮挡问题。
- 论文提出了一种基于条件分割掩膜的密集2D接触感知表面标记预测方法，能够在重度遮挡下实现个体特征的对应估计。
- 实验结果表明，该方法在复杂人际交互中表现出更高的准确性，并且重建质量与商业标记基础的解决方案相当。
📝 摘要（中文）
我们提出了MAMMA，一个无标记的动作捕捉管道，能够从多视角视频中准确恢复两人交互序列的SMPL-X参数。传统的动作捕捉系统依赖于物理标记，虽然精度高，但需要专用硬件、手动标记放置和大量后处理，成本高且耗时。近期的基于学习的方法试图克服这些限制，但大多数仅适用于单人捕捉，依赖稀疏关键点，或在遮挡和物理交互中表现不佳。我们的方法通过条件分割掩膜预测密集的2D接触感知表面标记，能够在重度遮挡下实现个体特征的对应估计。我们展示了该方法在复杂的人际交互中表现出更高的准确性，并构建了一个大型合成多视角数据集以训练网络。该系统在重建质量上与商业标记基础的动作捕捉解决方案具有竞争力，且无需大量手动清理。
🔬 方法详解
问题定义：本论文旨在解决传统动作捕捉系统依赖物理标记的问题，这些系统虽然精度高，但成本高、耗时且难以处理复杂的交互和遮挡情况。现有的学习方法大多仅适用于单人捕捉，且在遮挡和物理交互中表现不佳。
核心思路：我们的方法通过条件分割掩膜预测密集的2D接触感知表面标记，从而实现个体特征的对应估计，即使在重度遮挡的情况下也能保持准确性。该设计使得系统能够处理复杂的人际交互。
技术框架：整体架构包括数据采集、网络训练和动作捕捉三个主要模块。首先，构建一个大型合成多视角数据集，包含丰富的身体接触和遮挡情况；其次，利用该数据集训练网络，最后通过训练好的模型进行动作捕捉。
关键创新：最重要的创新点在于引入了条件分割掩膜来预测密集的2D接触感知表面标记，这一方法使得在复杂交互和遮挡情况下的个体对应估计成为可能，与现有方法相比具有本质的区别。
关键设计：在网络结构上，我们采用了可学习查询的方式来处理每个标记，设计了特定的损失函数以优化标记的预测精度，并确保网络能够有效应对复杂的交互场景。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MAMMA在复杂人际交互中的重建准确性显著高于现有方法，且在重度遮挡情况下仍能保持良好的性能。与商业标记基础的解决方案相比，MAMMA在重建质量上具有竞争力，且无需大量手动清理。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发、动画制作和人机交互等。通过无标记的动作捕捉技术，能够降低成本，提高效率，推动相关领域的技术进步和应用普及。
📄 摘要（原文）
We present MAMMA, a markerless motion-capture pipeline that accurately recovers SMPL-X parameters from multi-view video of two-person interaction sequences. Traditional motion-capture systems rely on physical markers. Although they offer high accuracy, their requirements of specialized hardware, manual marker placement, and extensive post-processing make them costly and time-consuming. Recent learning-based methods attempt to overcome these limitations, but most are designed for single-person capture, rely on sparse keypoints, or struggle with occlusions and physical interactions. In this work, we introduce a method that predicts dense 2D contact-aware surface landmarks conditioned on segmentation masks, enabling person-specific correspondence estimation even under heavy occlusion. We employ a novel architecture that exploits learnable queries for each landmark. We demonstrate that our approach can handle complex person--person interaction and offers greater accuracy than existing methods. To train our network, we construct a large, synthetic multi-view dataset combining human motions from diverse sources, including extreme poses, hand motions, and close interactions. Our dataset yields high-variability synthetic sequences with rich body contact and occlusion, and includes SMPL-X ground-truth annotations with dense 2D landmarks. The result is a system capable of capturing human motion without the need for markers. Our approach offers competitive reconstruction quality compared to commercial marker-based motion-capture solutions, without the extensive manual cleanup. Finally, we address the absence of common benchmarks for dense-landmark prediction and markerless motion capture by introducing two evaluation settings built from real multi-view sequences. Our dataset is available in https://mamma.is.tue.mpg.de for research purposes.