Semantics-aware Motion Retargeting with Vision-Language Models

📄 arXiv: 2312.01964v3 📥 PDF

作者: Haodong Zhang, ZhiKe Chen, Haocheng Xu, Lei Hao, Xiaofei Wu, Songcen Xu, Zhensong Zhang, Yue Wang, Rong Xiong

分类: cs.CV, cs.GR

发布日期: 2023-12-04 (更新: 2024-04-15)

备注: Accepted in CVPR2024

💡 一句话要点

提出一种语义感知的运动重定向方法，利用视觉-语言模型提取和保持运动语义。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 运动重定向 视觉-语言模型 语义感知 3D运动 动画制作

📋 核心要点

  1. 现有运动重定向方法忽略语义信息或依赖人工设计的关节级表示，难以捕捉和保持运动语义。
  2. 利用视觉-语言模型提取运动语义，通过渲染3D运动图像并对齐语义嵌入，将高层语义融入重定向过程。
  3. 采用两阶段训练：骨骼感知预训练和语义几何约束微调，保证细粒度细节和高层语义的保留。

📝 摘要（中文）

本文提出了一种新颖的语义感知运动重定向(SMT)方法，该方法利用视觉-语言模型的优势来提取和保持有意义的运动语义。大多数先前的工作忽略了语义信息或依赖于人工设计的关节级表示。我们使用一个可微模块来渲染3D运动。然后，通过将渲染的图像输入视觉-语言模型并对齐提取的语义嵌入，将高层运动语义整合到运动重定向过程中。为了确保保留细粒度的运动细节和高层语义，我们采用了一个两阶段的流程，包括骨骼感知的预训练和使用语义和几何约束的微调。实验结果表明，该方法在产生高质量的运动重定向结果的同时，能够准确地保持运动语义。

🔬 方法详解

问题定义：现有的运动重定向方法在很大程度上忽略了运动的语义信息，或者依赖于人工设计的、基于关节级别的表示方法。这些方法难以准确捕捉和保持运动的内在含义，导致重定向后的动作可能失去原有的意图和风格。因此，如何有效地提取和利用运动语义信息是运动重定向领域的一个关键挑战。

核心思路：本文的核心思路是利用视觉-语言模型强大的语义理解能力，将运动渲染成图像，然后通过视觉-语言模型提取图像中的语义信息，并将这些语义信息融入到运动重定向的过程中。通过对齐源运动和目标运动的语义嵌入，可以确保重定向后的运动在语义上与原始运动保持一致。

技术框架：该方法采用一个两阶段的流程。第一阶段是骨骼感知的预训练，旨在学习骨骼的结构信息和运动的基本特征。第二阶段是使用语义和几何约束进行微调，该阶段利用视觉-语言模型提取的语义信息，并结合几何约束，进一步优化重定向结果。整体框架包含一个可微渲染模块，用于将3D运动渲染成图像，以及一个视觉-语言模型，用于提取图像的语义嵌入。

关键创新：该方法最重要的创新点在于将视觉-语言模型引入到运动重定向任务中，利用视觉-语言模型强大的语义理解能力，实现了语义感知的运动重定向。与传统的基于人工设计的特征的方法相比，该方法能够自动学习运动的语义信息，避免了人工设计的局限性。

关键设计：该方法使用了一个可微渲染模块，使得梯度可以从视觉-语言模型反向传播到3D运动。此外，该方法还设计了一个语义对齐损失函数，用于对齐源运动和目标运动的语义嵌入。几何约束则用于保证重定向后的运动在几何上与原始运动相似。具体的网络结构和参数设置在论文中有详细描述，但此处未知。

📊 实验亮点

实验结果表明，该方法能够生成高质量的运动重定向结果，并准确地保持运动语义。与现有方法相比，该方法在语义保持方面取得了显著的提升，具体性能数据未知，但定性结果显示重定向后的动作更自然、更符合原始意图。通过视觉-语言模型提取的语义信息能够有效指导运动重定向过程。

🎯 应用场景

该研究成果可广泛应用于动画制作、游戏开发、虚拟现实、人机交互等领域。通过语义感知的运动重定向，可以更高效、更自然地将动作从一个角色迁移到另一个角色，提升用户体验，降低制作成本。未来，该技术有望应用于更复杂的场景，例如多人协作动画制作、智能康复训练等。

📄 摘要（原文）

Capturing and preserving motion semantics is essential to motion retargeting between animation characters. However, most of the previous works neglect the semantic information or rely on human-designed joint-level representations. Here, we present a novel Semantics-aware Motion reTargeting (SMT) method with the advantage of vision-language models to extract and maintain meaningful motion semantics. We utilize a differentiable module to render 3D motions. Then the high-level motion semantics are incorporated into the motion retargeting process by feeding the vision-language model with the rendered images and aligning the extracted semantic embeddings. To ensure the preservation of fine-grained motion details and high-level semantics, we adopt a two-stage pipeline consisting of skeleton-aware pre-training and fine-tuning with semantics and geometry constraints. Experimental results show the effectiveness of the proposed method in producing high-quality motion retargeting results while accurately preserving motion semantics.