TopoCap: Learning Topology-Agnostic Motion Priors for Monocular Video-to-Animation
作者: Cheng-Feng Pu, Jia-Peng Zhang, Meng-Hao Guo, Yan-Pei Cao, Shi-Min Hu
分类: cs.CV, cs.GR
发布日期: 2026-06-10
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出TopoCap框架以解决单目视频到动画的运动捕捉问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 运动捕捉 单目视频 动画生成 拓扑无关 深度学习 数据集构建 图形条件变分自编码器 3D动画
📋 核心要点
- 现有运动捕捉方法对特定物种模板依赖性强，且手动绑定过程繁琐，限制了应用范围。
- 提出TopoCap框架，通过学习通用运动流形，将运动从单目视频提取并重定向到任意骨骼拓扑上。
- 实验结果表明，TopoCap在人体和四足动物基准测试中优于专业模型，并实现了对多种3D生物的零-shot重定向。
📝 摘要（中文）
随着生成3D资产的激增，对动画的需求也随之增加。然而，现有的运动捕捉方法往往局限于特定物种的模板（如SMPL），或需要繁琐的手动绑定。我们提出了TopoCap，这是第一个统一框架，能够从单目视频中提取运动，并将其重定向到具有任意、未见骨骼拓扑的角色上，无需测试时优化。我们的关键见解是，尽管骨骼结构是组合性和离散的，但运动的物理特性占据了一个连续的低维流形。我们通过两阶段生成管道实现了这一见解。
🔬 方法详解
问题定义：论文旨在解决从单目视频提取运动并将其重定向到任意骨骼拓扑的挑战。现有方法往往依赖于特定的骨骼模板，限制了其通用性和灵活性。
核心思路：论文的核心思路是将运动动态与骨骼拓扑解耦，通过学习一个通用的运动流形来实现。这种设计使得模型能够处理多种不同的骨骼结构，而无需在测试时进行优化。
技术框架：整体架构分为两个主要阶段。第一阶段使用图形条件变分自编码器（Graph CVAE）学习通用运动流形，将异构运动链压缩为共享的固定长度潜在编码。第二阶段将视频到动画视为条件流匹配问题，从视觉特征中预测这些拓扑无关的编码。
关键创新：最重要的技术创新在于提出了Mobjaverse数据集，该数据集包含超过5000种独特的骨骼拓扑和200万帧数据，极大地丰富了现有数据集的结构多样性。与现有方法相比，TopoCap能够在不依赖特定模板的情况下实现运动捕捉和重定向。
关键设计：关键设计包括对解码器进行结构嵌入的显式条件设置，以及在训练过程中使用的损失函数和网络结构的优化，以确保模型能够有效地学习和生成拓扑无关的运动编码。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TopoCap在人体和四足动物的基准测试中表现优异，超越了专门模型的性能。具体而言，TopoCap在多个测试中实现了显著的性能提升，尤其是在处理复杂骨骼拓扑时，展现出其零-shot重定向的强大能力。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、动画制作和虚拟现实等。通过TopoCap框架，开发者可以更高效地创建多样化的动画角色，降低了对专业运动捕捉设备的依赖，提升了动画制作的灵活性和效率。未来，该技术可能推动更广泛的3D内容生成和交互体验的发展。
📄 摘要（原文）
The explosion of generative 3D assets has created a massive demand for animation, yet current motion capture methods remain brittle, restricted to species-specific templates (e.g., SMPL) or requiring labor-intensive manual rigging. We introduce TopoCap, the first unified framework capable of extracting motion from monocular video and retargeting it onto characters with arbitrary, unseen skeletal topologies, i.e., from bipeds to hexapods and inanimate objects, without test-time optimization. Our key insight is that while skeletal structures are combinatorial and discrete, the underlying physics of motion occupy a continuous, low-dimensional manifold. We materialize this insight via a two-stage generative pipeline. First, we learn a Universal Motion Manifold using a Graph CVAE that compresses heterogeneous kinematic chains into a shared, fixed-length latent code. By explicitly conditioning the decoder on a structural embedding of the target rig, we disentangle motion dynamics from skeletal topology. Second, we treat video-to-animation as a conditional flow matching problem, predicting these topology-agnostic codes from visual features. To learn this generalized prior, we introduce Mobjaverse, a massive-scale dataset curated from Objaverse-XL. Comprising over 5,000 unique skeletal topologies and 2 million frames, it exceeds the structural diversity of existing datasets by two orders of magnitude. Extensive experiments demonstrate that \MethodMotion outperforms specialist models on human and quadruped benchmarks while enabling zero-shot retargeting for the long tail of 3D creatures. Dataset is publicly available at https://huggingface.co/datasets/duckduckplz/Mobjaverse.