LM2D: Lyrics- and Music-Driven Dance Synthesis

📄 arXiv: 2403.09407v1 📥 PDF

作者: Wenjie Yin, Xuejiao Zhao, Yi Yu, Hang Yin, Danica Kragic, Mårten Björkman

分类: cs.SD, cs.AI, cs.LG, cs.MM, eess.AS

发布日期: 2024-03-14

💡 一句话要点

提出LM2D以解决音乐与歌词驱动的舞蹈合成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 舞蹈合成 多模态扩散 歌词驱动 音乐理解 姿态估计 一致性蒸馏 3D动作数据集

📋 核心要点

  1. 现有舞蹈合成方法仅基于音频信号，未能充分考虑歌词对舞蹈动作的影响。
  2. 本文提出LM2D，通过多模态扩散模型与一致性蒸馏，实现在一次生成步骤中同时考虑音乐和歌词。
  3. 实验结果显示，LM2D在生成的舞蹈动作上与仅基于音乐的基线模型相比，表现出更高的真实感和多样性。

📝 摘要（中文）

舞蹈通常涉及专业编排，其复杂动作需跟随音乐节奏，并受到歌词内容的影响。现有的舞蹈合成方法主要基于音频信号建模，未能充分利用歌词信息。本文提出LM2D，一种新颖的概率架构，结合多模态扩散模型与一致性蒸馏，旨在通过一次扩散生成步骤同时生成基于音乐和歌词的舞蹈。此外，我们还引入了首个包含音乐和歌词的3D舞蹈动作数据集，利用姿态估计技术获取。实验结果表明，LM2D能够生成与歌词和音乐匹配的真实多样的舞蹈。

🔬 方法详解

问题定义：本文旨在解决现有舞蹈合成方法未能充分利用歌词信息的问题，导致生成的舞蹈动作缺乏语义丰富性和多样性。

核心思路：LM2D通过结合多模态扩散模型与一致性蒸馏，能够在一次生成步骤中同时考虑音乐和歌词，从而增强舞蹈生成的语义一致性。

技术框架：LM2D的整体架构包括输入模块（接收音乐和歌词）、多模态扩散模型（生成舞蹈动作）和一致性蒸馏模块（确保生成动作与输入的语义一致）。

关键创新：LM2D的主要创新在于其将歌词信息与音乐信号结合，形成了一个新的生成框架，显著提升了舞蹈合成的语义表现力，与传统仅基于音频的模型相比具有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以平衡音乐和歌词的影响，同时在网络结构上引入了多模态特征提取模块，以增强对输入信息的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LM2D在生成舞蹈动作的真实感和多样性上显著优于仅基于音乐的基线模型。具体而言，LM2D在主观评估中获得了更高的评分，显示出其在舞蹈合成领域的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括舞蹈编排、娱乐产业中的虚拟角色动画以及教育领域中的舞蹈教学。通过结合音乐和歌词，LM2D能够为舞蹈创作提供新的灵感和工具，推动舞蹈艺术与技术的融合。未来，该技术可能在实时表演和互动娱乐中发挥重要作用。

📄 摘要（原文）

Dance typically involves professional choreography with complex movements that follow a musical rhythm and can also be influenced by lyrical content. The integration of lyrics in addition to the auditory dimension, enriches the foundational tone and makes motion generation more amenable to its semantic meanings. However, existing dance synthesis methods tend to model motions only conditioned on audio signals. In this work, we make two contributions to bridge this gap. First, we propose LM2D, a novel probabilistic architecture that incorporates a multimodal diffusion model with consistency distillation, designed to create dance conditioned on both music and lyrics in one diffusion generation step. Second, we introduce the first 3D dance-motion dataset that encompasses both music and lyrics, obtained with pose estimation technologies. We evaluate our model against music-only baseline models with objective metrics and human evaluations, including dancers and choreographers. The results demonstrate LM2D is able to produce realistic and diverse dance matching both lyrics and music. A video summary can be accessed at: https://youtu.be/4XCgvYookvA.