Music to Dance as Language Translation using Sequence Models

📄 arXiv: 2403.15569v2 📥 PDF

作者: André Correia, Luís A. Alexandre

分类: cs.SD, cs.RO, eess.AS

发布日期: 2024-03-22 (更新: 2024-10-17)

💡 一句话要点

提出MDLT以解决音乐到舞蹈生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 舞蹈生成 音乐翻译 序列模型 机器人技术 深度学习

📋 核心要点

  1. 现有方法在将音乐转化为舞蹈编排时缺乏有效的框架，导致生成的舞蹈质量不高。
  2. MDLT通过将舞蹈生成视为翻译任务，利用音频序列与舞蹈姿势之间的映射关系进行学习。
  3. 在实验中，MDLT在生成舞蹈编排的准确性和质量上显著优于传统方法，评估指标表现出色。

📝 摘要（中文）

合成适当的舞蹈编排从音乐中提取仍然是一个未解决的问题。我们提出MDLT，这是一种将舞蹈生成问题框架化为翻译任务的新方法。该方法利用现有数据集学习将音频序列翻译为相应的舞蹈姿势。我们展示了MDLT的两种变体：一种利用Transformer架构，另一种采用Mamba架构。我们在AIST++和PhantomDance数据集上训练该方法，以教导机器人手臂跳舞，但该方法也可应用于完整的人形机器人。评估指标，包括平均关节误差和Fréchet Inception距离，始终表明，当给定一段音乐时，MDLT在生成逼真且高质量的舞蹈编排方面表现出色。代码可在github.com/meowatthemoon/MDLT找到。

🔬 方法详解

问题定义：本论文旨在解决从音乐生成舞蹈编排的挑战。现有方法往往缺乏有效的框架，导致生成的舞蹈姿势与音乐的匹配度不高，且缺乏真实感。

核心思路：MDLT的核心思路是将舞蹈生成问题视为一种翻译任务，通过学习音频序列与舞蹈姿势之间的映射关系来实现。这样的设计使得模型能够更好地捕捉音乐的节奏和情感，从而生成更符合音乐特征的舞蹈。

技术框架：MDLT包括两个主要架构：Transformer和Mamba。模型首先接收音频输入，经过特征提取后，利用序列模型生成相应的舞蹈姿势序列。整个流程包括数据预处理、模型训练和舞蹈生成三个阶段。

关键创新：MDLT的主要创新在于将舞蹈生成问题重新定义为翻译任务，并采用了两种不同的深度学习架构进行实现。这种方法与现有的基于规则或简单映射的方法有本质区别，能够生成更高质量的舞蹈。

关键设计：在模型设计中，采用了适当的损失函数来优化舞蹈姿势的生成质量，并在训练过程中使用了AIST++和PhantomDance数据集，以确保模型能够学习到丰富的舞蹈风格和动作。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，MDLT在生成舞蹈编排的准确性上表现优异，平均关节误差和Fréchet Inception距离的评估结果均显示出显著提升，表明该方法在生成高质量舞蹈方面的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括娱乐、教育和机器人技术等。通过将音乐与舞蹈编排相结合，可以为舞蹈表演、舞蹈教学以及人形机器人表演提供新的解决方案，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Synthesising appropriate choreographies from music remains an open problem. We introduce MDLT, a novel approach that frames the choreography generation problem as a translation task. Our method leverages an existing data set to learn to translate sequences of audio into corresponding dance poses. We present two variants of MDLT: one utilising the Transformer architecture and the other employing the Mamba architecture. We train our method on AIST++ and PhantomDance data sets to teach a robotic arm to dance, but our method can be applied to a full humanoid robot. Evaluation metrics, including Average Joint Error and Fréchet Inception Distance, consistently demonstrate that, when given a piece of music, MDLT excels at producing realistic and high-quality choreography. The code can be found at github.com/meowatthemoon/MDLT.