Generating Human Motion Videos using a Cascaded Text-to-Video Framework

📄 arXiv: 2510.03909v1 📥 PDF

作者: Hyelin Nam, Hyojun Go, Byeongjun Park, Byung-Hoon Kim, Hyungjin Chung

分类: cs.CV

发布日期: 2025-10-04

备注: 18 pages, 7 figures, Project Page:https://hyelinnam.github.io/Cameo/

💡 一句话要点

提出CAMEO级联框架，用于从文本生成逼真的人体运动视频

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 人体运动生成 视频扩散模型 级联框架 相机感知 条件生成 具身智能 运动捕捉

📋 核心要点

  1. 现有视频扩散模型在通用人体视频生成方面应用不足，通常局限于图像到视频或特定领域。
  2. CAMEO通过级联T2M模型和条件VDM，并设计组件来优化训练和推理过程，从而生成高质量人体运动视频。
  3. 实验表明，CAMEO在MovieGen基准和新基准上表现出色，验证了其有效性和在不同场景下的泛化能力。

📝 摘要（中文）

人体视频生成在图形、娱乐和具身人工智能等领域变得越来越重要。尽管视频扩散模型（VDM）发展迅速，但它们在通用人体视频生成方面的应用仍未得到充分探索，大多数工作仅限于图像到视频的设置或舞蹈视频等狭窄领域。本文提出了CAMEO，一个用于通用人体运动视频生成的级联框架。它无缝地桥接了文本到运动（T2M）模型和条件VDM，通过精心设计的组件，减轻了训练和推理过程中可能出现的次优因素。具体来说，我们分析并准备了文本提示和视觉条件，以有效地训练VDM，确保运动描述、条件信号和生成的视频之间的鲁棒对齐。此外，我们引入了一个相机感知条件模块，将两个阶段连接起来，自动选择与输入文本对齐的视点，以增强连贯性并减少人工干预。我们在MovieGen基准和一个专门为T2M-VDM组合定制的新基准上证明了我们方法的有效性，同时突出了其在各种用例中的多功能性。

🔬 方法详解

问题定义：现有的人体视频生成方法，特别是基于视频扩散模型的方法，在通用场景下生成逼真、连贯的人体运动视频方面存在挑战。许多方法要么依赖于图像到视频的设定，要么局限于特定的领域，例如舞蹈视频。因此，如何利用文本描述生成高质量、多样化的人体运动视频是一个亟待解决的问题。

核心思路：CAMEO的核心思路是将文本到运动（T2M）模型与条件视频扩散模型（VDM）相结合，构建一个级联框架。T2M模型负责根据文本生成人体运动的骨骼序列，然后VDM根据这些骨骼序列生成最终的视频。通过这种方式，CAMEO可以利用T2M模型在运动生成方面的优势和VDM在视频生成方面的能力，从而生成更逼真、更符合文本描述的视频。

技术框架：CAMEO框架包含两个主要阶段：文本到运动生成阶段和运动到视频生成阶段。在文本到运动生成阶段，使用T2M模型根据输入的文本描述生成人体运动的骨骼序列。在运动到视频生成阶段，使用条件VDM根据生成的骨骼序列生成最终的视频。此外，CAMEO还引入了一个相机感知条件模块，用于自动选择与输入文本对齐的视点，以增强视频的连贯性。

关键创新：CAMEO的关键创新在于其级联框架的设计，以及相机感知条件模块的引入。级联框架能够充分利用T2M模型和VDM的优势，从而生成更高质量的视频。相机感知条件模块能够自动选择合适的视点，从而增强视频的连贯性和真实感。

关键设计：在训练VDM时，论文特别关注了文本提示和视觉条件的准备，以确保运动描述、条件信号和生成的视频之间的鲁棒对齐。相机感知条件模块通过学习文本描述和相机参数之间的映射关系，自动选择合适的视点。具体的网络结构和损失函数细节在论文中未详细描述，属于未知信息。

📊 实验亮点

CAMEO在MovieGen基准和一个专门为T2M-VDM组合定制的新基准上进行了评估。实验结果表明，CAMEO能够生成高质量、多样化的人体运动视频，并且在视觉质量和文本对齐方面优于现有的方法。具体的性能数据和提升幅度在论文中未详细给出，属于未知信息。

🎯 应用场景

CAMEO具有广泛的应用前景，包括游戏开发、虚拟现实、电影制作、教育和康复等领域。例如，在游戏开发中，可以使用CAMEO根据游戏剧情生成角色动画。在虚拟现实中，可以使用CAMEO生成逼真的虚拟人物。在教育领域，可以使用CAMEO生成教学视频，演示人体运动的原理。在康复领域，可以使用CAMEO生成康复训练视频，指导患者进行康复训练。

📄 摘要（原文）

Human video generation is becoming an increasingly important task with broad applications in graphics, entertainment, and embodied AI. Despite the rapid progress of video diffusion models (VDMs), their use for general-purpose human video generation remains underexplored, with most works constrained to image-to-video setups or narrow domains like dance videos. In this work, we propose CAMEO, a cascaded framework for general human motion video generation. It seamlessly bridges Text-to-Motion (T2M) models and conditional VDMs, mitigating suboptimal factors that may arise in this process across both training and inference through carefully designed components. Specifically, we analyze and prepare both textual prompts and visual conditions to effectively train the VDM, ensuring robust alignment between motion descriptions, conditioning signals, and the generated videos. Furthermore, we introduce a camera-aware conditioning module that connects the two stages, automatically selecting viewpoints aligned with the input text to enhance coherence and reduce manual intervention. We demonstrate the effectiveness of our approach on both the MovieGen benchmark and a newly introduced benchmark tailored to the T2M-VDM combination, while highlighting its versatility across diverse use cases.