Seamless Human Motion Composition with Blended Positional Encodings

📄 arXiv: 2402.15509v1 📥 PDF

作者: German Barquero, Sergio Escalera, Cristina Palmero

分类: cs.CV

发布日期: 2024-02-23

备注: Project page: https://barquerogerman.github.io/FlowMDM/

💡 一句话要点

提出FlowMDM以解决连续人类动作生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类动作生成 扩散模型 位置编码 虚拟现实 机器人交互 动作合成 深度学习

📋 核心要点

  1. 现有方法通常生成短时孤立的动作，缺乏长时间连续动作的生成能力。
  2. 本研究提出FlowMDM模型，利用混合位置编码实现无缝的人类动作组合生成。
  3. 在Babel和HumanML3D数据集上，FlowMDM在准确性和流畅性上均优于现有方法。

📝 摘要（中文）

条件性人类动作生成是虚拟现实、游戏和机器人等领域的重要课题。以往的研究主要集中在通过文本、音乐或场景生成短时孤立动作，而本论文则关注生成由多种文本描述引导的长时间连续动作序列。我们提出了FlowMDM，这是首个无需后处理或冗余去噪步骤的扩散模型，能够生成无缝的人类动作组合。通过引入混合位置编码技术，我们在去噪链中结合了绝对和相对位置编码，恢复全局运动一致性并实现平滑过渡。实验结果表明，FlowMDM在Babel和HumanML3D数据集上达到了最先进的准确性、真实感和流畅性。

🔬 方法详解

问题定义：本论文旨在解决现有条件性人类动作生成方法在生成长时间连续动作时的不足，尤其是缺乏全局一致性和流畅过渡的问题。

核心思路：我们提出FlowMDM模型，通过引入混合位置编码技术，结合绝对和相对位置编码，来实现无缝的人类动作组合生成。这种设计使得模型在生成过程中能够更好地保持运动的一致性和流畅性。

技术框架：FlowMDM的整体架构包括两个主要阶段：绝对位置编码阶段用于恢复全局运动一致性，和相对位置编码阶段用于实现平滑的动作过渡。模型通过扩散过程生成动作序列，避免了后处理和冗余去噪步骤。

关键创新：本研究的主要创新在于引入混合位置编码技术，使得模型能够在生成过程中同时考虑全局和局部运动特征。这一方法与传统的单一位置编码方法有本质区别，显著提升了生成动作的质量。

关键设计：在模型设计中，我们采用Pose-Centric Cross-Attention机制，使得模型在仅用单一描述进行训练时，依然能够在推理时对不同文本描述保持鲁棒性。此外，我们还提出了新的评估指标，如峰值抖动和抖动面积，以更好地检测动作生成中的突变过渡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Babel和HumanML3D数据集上的实验结果显示，FlowMDM在准确性、真实感和流畅性方面均达到了最先进的水平，显著优于现有方法。具体而言，模型在生成动作的流畅性上提升了XX%，在真实感上提升了YY%，展现出其强大的生成能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和机器人控制等。通过生成自然流畅的人类动作，FlowMDM可以提升虚拟角色的表现力和交互性，增强用户体验。此外，该技术在机器人领域也能帮助机器人更自然地与人类互动，具有重要的实际价值和未来影响。

📄 摘要（原文）

Conditional human motion generation is an important topic with many applications in virtual reality, gaming, and robotics. While prior works have focused on generating motion guided by text, music, or scenes, these typically result in isolated motions confined to short durations. Instead, we address the generation of long, continuous sequences guided by a series of varying textual descriptions. In this context, we introduce FlowMDM, the first diffusion-based model that generates seamless Human Motion Compositions (HMC) without any postprocessing or redundant denoising steps. For this, we introduce the Blended Positional Encodings, a technique that leverages both absolute and relative positional encodings in the denoising chain. More specifically, global motion coherence is recovered at the absolute stage, whereas smooth and realistic transitions are built at the relative stage. As a result, we achieve state-of-the-art results in terms of accuracy, realism, and smoothness on the Babel and HumanML3D datasets. FlowMDM excels when trained with only a single description per motion sequence thanks to its Pose-Centric Cross-ATtention, which makes it robust against varying text descriptions at inference time. Finally, to address the limitations of existing HMC metrics, we propose two new metrics: the Peak Jerk and the Area Under the Jerk, to detect abrupt transitions.