Bidirectional Autoregressive Diffusion Model for Dance Generation
作者: Canyu Zhang, Youbao Tang, Ning Zhang, Ruei-Sung Lin, Mei Han, Jing Xiao, Song Wang
分类: cs.SD, cs.CV, eess.AS
发布日期: 2024-02-06 (更新: 2024-06-22)
💡 一句话要点
提出双向自回归扩散模型以解决舞蹈生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 舞蹈生成 扩散模型 双向编码 动作生成 音乐对齐 局部增强 自回归模型
📋 核心要点
- 现有的扩散模型在舞蹈生成中多采用单向生成，缺乏对局部动作的双向考虑，导致生成的舞蹈不够自然。
- 本文提出双向自回归扩散模型（BADM），通过双向编码器和局部信息解码器，增强生成舞蹈的和谐性与平滑性。
- 实验结果显示，BADM在音乐到舞蹈生成的基准测试中，性能达到最先进水平，相较于单向方法有显著提升。
📝 摘要（中文）
舞蹈作为表达情感的重要媒介，其生动生成仍面临挑战。近年来，扩散模型在多个领域展现出卓越的生成能力，尤其适用于人类动作生成。然而，现有的扩散模型往往以单向方式直接生成整个动作序列，缺乏对局部动作的双向增强。为此，本文提出了一种双向自回归扩散模型（BADM），通过双向编码器确保生成的舞蹈在前后方向上和谐一致。同时，构建局部信息解码器以增强生成舞蹈的平滑性。实验结果表明，该模型在音乐到舞蹈生成的基准测试中，性能优于现有的单向方法。
🔬 方法详解
问题定义：本文旨在解决现有舞蹈生成模型在生成过程中缺乏双向考虑和局部动作增强的问题，导致生成的舞蹈不够自然和流畅。
核心思路：提出双向自回归扩散模型（BADM），通过双向编码器确保生成舞蹈的和谐性，同时利用局部信息解码器增强生成舞蹈的平滑性。
技术框架：BADM的整体架构包括双向编码器、局部信息解码器和生成模块。双向编码器负责捕捉前后文信息，而局部信息解码器则专注于局部动作的生成与优化。
关键创新：最重要的创新在于引入双向编码器，使得生成的舞蹈在时间上更加连贯，并通过局部信息解码器提升动作的细腻度，这与现有单向生成方法形成鲜明对比。
关键设计：模型采用特定的损失函数来平衡全局和局部生成的质量，同时在网络结构上设计了适应性强的编码器和解码器，以便有效处理输入的音乐信息和舞蹈动作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BADM在音乐到舞蹈生成的基准测试中，性能超过现有单向方法，具体提升幅度达到XX%，展示了其在生成舞蹈动作时的优越性和实用性。
🎯 应用场景
该研究的潜在应用领域包括舞蹈创作、动画制作和虚拟现实等。通过生成高质量的舞蹈动作，能够为艺术创作提供新的工具，提升人机交互的体验，未来可能在娱乐、教育等多个领域产生深远影响。
📄 摘要（原文）
Dance serves as a powerful medium for expressing human emotions, but the lifelike generation of dance is still a considerable challenge. Recently, diffusion models have showcased remarkable generative abilities across various domains. They hold promise for human motion generation due to their adaptable many-to-many nature. Nonetheless, current diffusion-based motion generation models often create entire motion sequences directly and unidirectionally, lacking focus on the motion with local and bidirectional enhancement. When choreographing high-quality dance movements, people need to take into account not only the musical context but also the nearby music-aligned dance motions. To authentically capture human behavior, we propose a Bidirectional Autoregressive Diffusion Model (BADM) for music-to-dance generation, where a bidirectional encoder is built to enforce that the generated dance is harmonious in both the forward and backward directions. To make the generated dance motion smoother, a local information decoder is built for local motion enhancement. The proposed framework is able to generate new motions based on the input conditions and nearby motions, which foresees individual motion slices iteratively and consolidates all predictions. To further refine the synchronicity between the generated dance and the beat, the beat information is incorporated as an input to generate better music-aligned dance movements. Experimental results demonstrate that the proposed model achieves state-of-the-art performance compared to existing unidirectional approaches on the prominent benchmark for music-to-dance generation.