Generative Motion Stylization of Cross-structure Characters within Canonical Motion Space
作者: Jiaxu Zhang, Xin Chen, Gang Yu, Zhigang Tu
分类: cs.CV, cs.GR
发布日期: 2024-03-18 (更新: 2024-07-23)
备注: ACM MM 2024
💡 一句话要点
提出MotionS以解决跨结构角色的运动风格化问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动风格化 跨模态生成 骨架结构 CLIP模型 动画合成 虚拟角色 多样化风格 拓扑编码
📋 核心要点
- 现有的数据驱动运动合成方法受到固定骨架结构和风格表示的限制，无法有效生成跨结构角色的风格化运动。
- 本文提出的MotionS管道通过嵌入运动风格到跨模态潜在空间，利用CLIP模型实现灵活的风格表示，解决了上述问题。
- 实验结果表明，MotionS在多种骨架结构上生成高质量的风格化运动，优于现有方法，展示了其灵活性和通用性。
📝 摘要（中文）
风格化运动为角色注入生命。然而，固定的骨架结构和风格表示限制了现有数据驱动的运动合成方法生成各种角色的风格化运动。本文提出了一种名为MotionS的生成运动风格化管道，旨在利用跨模态风格提示合成多样化和风格化的运动。我们的关键见解是将运动风格嵌入跨模态潜在空间，并感知跨结构骨架拓扑，从而在规范运动空间内实现运动风格化。通过大量示例，我们展示了该管道在各种角色和风格描述中的灵活性和通用性。
🔬 方法详解
问题定义：本文旨在解决现有运动合成方法在生成跨结构角色的风格化运动时的局限性，尤其是固定骨架结构和风格表示的不足。
核心思路：通过将运动风格嵌入跨模态潜在空间，利用CLIP模型构建灵活的风格表示，并学习拓扑编码的标记以捕捉骨架拓扑，从而实现运动风格化。
技术框架：整体架构包括三个主要模块：1) 跨模态潜在空间构建，2) 拓扑编码标记学习，3) 风格化扩散生成，确保在规范运动空间内进行风格化。
关键创新：最重要的创新在于引入了拓扑编码的标记，允许在不同骨架结构之间进行拓扑转换，从而实现跨结构的运动风格化，这是现有方法所不具备的。
关键设计：在参数设置上，采用了大规模的CLIP模型进行潜在空间构建，并设计了多模态风格描述的损失函数，以优化生成的运动内容和风格一致性。具体的网络结构和损失函数细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MotionS在风格化运动生成方面的表现优于现有最先进的方法，能够在多种骨架结构上生成高质量的风格化运动，具体性能提升幅度达到了XX%。定量和定性比较均表明其优越性。
🎯 应用场景
该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等行业，能够为角色动画提供更加丰富和多样化的风格化选项，提升用户体验。未来，该方法可能推动更广泛的跨模态生成技术的发展，促进多样化内容的创作。
📄 摘要（原文）
Stylized motion breathes life into characters. However, the fixed skeleton structure and style representation hinder existing data-driven motion synthesis methods from generating stylized motion for various characters. In this work, we propose a generative motion stylization pipeline, named MotionS, for synthesizing diverse and stylized motion on cross-structure characters using cross-modality style prompts. Our key insight is to embed motion style into a cross-modality latent space and perceive the cross-structure skeleton topologies, allowing for motion stylization within a canonical motion space. Specifically, the large-scale Contrastive-Language-Image-Pre-training (CLIP) model is leveraged to construct the cross-modality latent space, enabling flexible style representation within it. Additionally, two topology-encoded tokens are learned to capture the canonical and specific skeleton topologies, facilitating cross-structure topology shifting. Subsequently, the topology-shifted stylization diffusion is designed to generate motion content for the particular skeleton and stylize it in the shifted canonical motion space using multi-modality style descriptions. Through an extensive set of examples, we demonstrate the flexibility and generalizability of our pipeline across various characters and style descriptions. Qualitative and quantitative comparisons show the superiority of our pipeline over state-of-the-arts, consistently delivering high-quality stylized motion across a broad spectrum of skeletal structures.