OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data
作者: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He
分类: cs.CV
发布日期: 2026-06-29
备注: Accepted by ECCV 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出OmniDance以解决舞蹈视频生成中的数据不足与多模态融合问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 舞蹈视频生成 多模态融合 大规模数据集 深度学习 音乐驱动生成
📋 核心要点
- 现有的舞蹈视频生成方法缺乏大规模高质量数据集和有效的多模态融合框架，限制了生成效果。
- 论文提出CIPE-Dance数据集和OmniDance框架，旨在通过大规模数据和创新架构提升舞蹈视频生成的质量与多样性。
- 实验结果显示，OmniDance在TI2V、MI2V和MTI2V任务上均实现了最先进的性能，展现出优越的多模态整合能力。
📝 摘要（中文）
音乐驱动的舞蹈视频生成旨在合成与音乐时间对齐的富有表现力的人体动作，同时保持高视觉保真度。尽管已有进展，现有方法仍面临两个主要限制：缺乏大规模高质量的舞蹈视频数据集，以及缺乏将音乐作为补充条件信号整合到视频生成基础模型中的原则性框架。为了解决这些限制，我们引入了CIPE-Dance，这是一个通过渐进专家流程构建的大规模互联网舞蹈视频数据集，包含300k高质量片段，覆盖400小时，涵盖多样的舞者、环境和舞蹈风格。我们进一步提出了OmniDance，一个将音乐整合到TI2V基础模型中的框架级方案，保持其原有的可控性和视觉保真度。OmniDance通过深度感知专业化架构、锚定的易难度课程学习策略和模态专用的时间依赖CFG策略，实现了统一的TI2V、MI2V和MTI2V生成。大量实验表明，OmniDance在所有三项任务上均实现了最先进的性能，并展现了强大的多模态融合能力。
🔬 方法详解
问题定义：本论文旨在解决音乐驱动舞蹈视频生成中的数据不足和多模态融合问题。现有方法在数据集规模和质量上存在明显短板，同时缺乏有效的框架来整合音乐与视频生成模型。
核心思路：论文提出了CIPE-Dance数据集和OmniDance框架，前者提供了丰富的舞蹈视频数据，后者通过设计深度感知架构和课程学习策略，优化了音乐与视频生成的结合。
技术框架：OmniDance框架包括多个模块：深度感知专业化架构、锚定的课程学习策略和时间依赖的CFG策略。这些模块共同作用，实现了统一的TI2V、MI2V和MTI2V生成。
关键创新：最重要的创新在于将音乐和文本的互补角色进行联合设计，优化了生成模型的可控性和视觉保真度，与现有方法相比，提供了更高的生成质量和多样性。
关键设计：在模型设计中，采用了深度感知网络结构，结合了多模态输入的特征提取，并通过特定的损失函数来平衡不同模态的影响，确保生成结果的高质量和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OmniDance在TI2V、MI2V和MTI2V任务上均达到了最先进的性能，具体提升幅度超过了现有基线，展示了强大的多模态融合能力和生成质量。
🎯 应用场景
该研究的潜在应用领域包括舞蹈教育、娱乐产业和社交媒体内容创作。通过生成高质量的舞蹈视频，能够为舞蹈学习者提供丰富的学习资源，同时为创作者提供灵感，推动舞蹈艺术的传播与发展。
📄 摘要（原文）
Music-driven dance video generation aims to synthesize expressive human motion that is temporally aligned with music while maintaining high visual fidelity. Despite recent progress, existing methods still face two key limitations: the lack of large-scale, high-quality dance video datasets, and the absence of principled frameworks for integrating music as a complementary conditioning signal into Video Generation Foundation Models. To address these limitations, we introduce CIPE-Dance, a large-scale Internet-sourced dance video dataset with choreography-informed text annotations, constructed via a progressive expert pipeline. To the best of our knowledge, CIPE-Dance is the largest dataset for dance video generation to date, comprising 300k high-quality clips over 400 hours and covering diverse dancers, environments, and dance genres. We further propose OmniDance, a framework-level recipe for integrating music into a TI2V foundation model without sacrificing its original controllability or visual fidelity. Motivated by the complementary roles of text as low-frequency semantics and music as high-frequency temporal dynamics, OmniDance co-designs a depth-aware specialization architecture, an anchored easy-to-hard curriculum learning strategy, and a modality-specialized time-dependent CFG strategy, enabling unified TI2V, MI2V, and MTI2V generation. Extensive experiments on CIPE-Dance demonstrate that OmniDance achieves state-of-the-art performance across all three tasks and exhibits robust multimodal integration capability. Project is available at https://github.com/AMAP-ML/OmniDance.