UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation

📄 arXiv: 2608.01944v1 📥 PDF

作者: Liming Tan, Ye Chen, Hao Zhang, Lirong Qian, Feifei Li, Bingbing Ni

分类: cs.CV

发布日期: 2026-08-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出UniMoCa以解决多人物视频生成中的运动与相机控制问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频生成 运动控制 相机控制 多人物场景 深度学习 视觉代理 时间一致性

📋 核心要点

  1. 现有方法在多人物场景中面临运动与相机控制的协调困难，尤其在大幅度运动和遮挡情况下。
  2. UniMoCa通过运动-相机视觉代理（MCVP）将运动与相机控制统一在视觉空间中，增强了控制的兼容性。
  3. 实验结果显示，UniMoCa在运动控制、相机控制和时间一致性上相较于基线方法有显著提升，且复杂度增加有限。

📝 摘要（中文）

控制人类运动和相机运动对于真实的人类视频生成至关重要，但在多人物场景中，尤其是大幅度运动、遮挡和动态相机情况下仍然具有挑战性。现有方法通常依赖于视觉运动序列和相机嵌入进行控制，导致运动与相机的归属难以协调。本文提出UniMoCa，一个统一运动与相机控制的框架，核心是运动-相机视觉代理（MCVP），将3D人类运动和相机轨迹转化为身份中立的视觉代理。MCVP在恢复的相机轨迹下渲染时间对齐的人体几何，并用显式的相机轨迹标记进行增强，使得控制因素在同一视觉空间中相互兼容。实验表明，UniMoCa在运动控制、相机控制和时间一致性方面取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决多人物视频生成中运动与相机控制的协调问题。现有方法依赖于异构的视觉和几何嵌入，导致运动与相机归属难以统一，且对相机估计误差敏感。

核心思路：UniMoCa通过引入运动-相机视觉代理（MCVP），将3D人类运动与相机轨迹转化为统一的视觉表示，消除了异构控制接口带来的问题。这样设计使得运动与相机控制在同一视觉空间中相互兼容，便于联合推理与编辑。

技术框架：UniMoCa的整体架构包括数据预处理、MCVP生成和视频生成三个主要模块。首先，从驱动视频中提取3D运动和相机轨迹，然后生成MCVP，最后基于MCVP进行视频生成。

关键创新：MCVP是本文的核心创新，它将运动和相机控制统一为可共享的视觉代理，显著提高了生成过程中的一致性和鲁棒性。与现有方法相比，MCVP消除了视觉与几何嵌入之间的差异。

关键设计：在MCVP的生成过程中，采用了时间对齐的人体几何渲染和显式的相机轨迹标记，确保了运动与相机控制的可视化和可操作性。损失函数设计上，强调了时间一致性和运动控制的精确性。整体网络结构则采用了深度学习模型，以增强生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniMoCa在运动控制和相机控制方面相较于Wan2.2 I2V基线方法实现了显著提升，具体表现为在时间一致性和相机感知鲁棒性方面的改进，且复杂度增加有限，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括电影制作、游戏开发和虚拟现实等，能够帮助创作者更高效地生成高质量的人类视频内容。通过统一运动与相机控制，UniMoCa为视频生成提供了更灵活的工具，未来可能推动相关领域的技术进步与创新。

📄 摘要（原文）

Controlling human motion and camera movement is essential for faithful human-oriented video generation, yet remains challenging in multi-person scenes with large body motions, occlusions, and dynamic cameras. Existing pipelines typically rely on visual motion sequences, such as skeleton maps, pose maps, or rendered body representations, for motion control, while using camera embeddings for camera control. Such heterogeneous control interfaces force video generation models to reconcile pixel-aligned visual cues with non-visual geometric embeddings, making motion-camera attribution difficult and sensitive to camera estimation errors. We propose \textbf{UniMoCa}, a representation-driven framework that unifies motion and camera controls in visual space. At the core of UniMoCa is \textbf{Motion-Camera Visual Proxy} (\textbf{MCVP}), a mutually-sharable novel representation that converts 3D human motion and camera trajectories extracted from driving videos into an identity-neutral visual proxy. MCVP renders temporally aligned human geometry under the recovered camera trajectory and augments it with explicit camera trajectory markers, replacing heterogeneous visual-parametric controls with distinguishable visual cues. As both control factors are represented in the same visual space, they become mutually compatible rather than heterogeneous, enabling consistent joint reasoning and editing during video generation. We further curate a \textbf{MCVP-Video} dataset covering complex actions, multi-person interactions, and diverse camera trajectories. Experiments based on the Wan2.2 I2V show that UniMoCa achieves substantial gains in human motion control, camera control, temporal consistency, and camera-aware robustness with minimal additional complexity. More details are shown in our Project page: https://tanliming-daniel.github.io/UniMoCa/.