Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation

📄 arXiv: 2606.22726v1 📥 PDF

作者: Seong Jong Yoo, Siyuan Peng, Felix Gu, Stratis Aloimonos, Cornelia Fermüller

分类: cs.AI

发布日期: 2026-06-22

备注: Accepted to ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出STREAM以解决舞蹈动作生成中的语义控制问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 舞蹈动作生成 多模态输入 能量基础注意力 自适应层归一化 可编辑性 扩散变换器 语义控制

📋 核心要点

  1. 现有的舞蹈动作生成模型在语义控制和多模态输入方面存在显著不足，导致用户可控性差。
  2. 本文提出STREAM，通过模态解耦的扩散变换器，分别处理文本和音乐输入，从而实现精确的动作生成。
  3. 实验结果表明，STREAM在动作与音乐的对齐上达到了最先进水平，同时保持了编舞的语义完整性。

📝 摘要（中文）

编舞动作生成面临独特挑战，要求对复杂、时间结构化和富有表现力的全身动态进行精确的语义控制。现有模型虽然能够从音乐中合成动作，但大多为黑箱模型。尝试同时基于文本和音乐进行生成时，常会导致模态崩溃，密集的音频节奏会压倒稀疏的语义文本提示，破坏用户的可控性。为了解决这一时空冲突，本文提出了STREAM（结构-时间节奏能量基础注意力用于动作），一种模态解耦的扩散变换器。STREAM严格分离了条件路径：全局文本语义通过自适应层归一化（AdaLN）决定运动结构，而新颖的双模态能量基础注意力模块（BEAM）将这些特征引导至音乐节拍，而不覆盖语义。我们还引入了Motorica++，一个新策划的数据集，丰富了领域特定的舞蹈词汇和现有Motorica数据集的帧级语义注释。此外，为了严格量化零-shot 可编辑性，我们提出了交换评估协议和可编辑舞蹈评分（EDS）。通过广泛实验，STREAM在动作与音乐之间实现了最先进的对齐，同时完美保留了编舞语义，使AI不仅仅是反应合成器，而是艺术指导的可控合作伙伴。

🔬 方法详解

问题定义：本文旨在解决舞蹈动作生成中对复杂语义控制的挑战，现有方法在处理多模态输入时常导致模态崩溃，影响用户的可控性。

核心思路：STREAM通过模态解耦的设计，分别处理文本和音乐输入，确保全局文本语义能够有效指导动作生成，而不被音乐节奏覆盖。

技术框架：STREAM的整体架构包括两个主要模块：自适应层归一化（AdaLN）用于处理文本输入，双模态能量基础注意力模块（BEAM）用于将特征引导至音乐节拍。

关键创新：STREAM的创新在于其模态解耦设计，确保文本和音乐的输入路径独立，避免了传统方法中的模态崩溃问题。

关键设计：在技术细节上，STREAM采用自适应层归一化来处理文本语义，并设计了双模态能量基础注意力模块，以确保在生成过程中保留语义信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，STREAM在动作与音乐的对齐上达到了最先进的性能，具体表现为与基线模型相比，动作生成的语义保留率提高了XX%，并且在可编辑性方面表现出色，满足了零-shot 编辑的需求。

🎯 应用场景

该研究的潜在应用领域包括舞蹈编排、动画制作和游戏开发等，能够为艺术创作提供更高的可控性和灵活性。未来，STREAM可能推动AI在艺术领域的更广泛应用，成为创作者的智能合作伙伴。

📄 摘要（原文）

Choreographic motion generation poses unique challenges for AI, demanding precise semantic control over complex, temporally structured, and expressive full-body dynamics. While existing models can synthesize motion from music, they remain largely black boxes. Conversely, attempting to condition generation on both text and music frequently leads to modality collapse, where dense acoustic rhythms overwhelm sparse semantic text prompts, destroying user controllability. To resolve this spatial-temporal conflict, we propose STREAM (Structural-Temporal Rhythmic Energy-based Attention for Motion), a modality-decoupled diffusion transformer. STREAM strictly separates conditioning pathways: global text semantics dictate the kinematic structure via Adaptive Layer Normalization (AdaLN), while a novel Bimodal Energy-Based Attention Module (BEAM) routes these features to the musical beat without overwriting the semantics. We further introduce Motorica++, a newly curated dataset enriched with domain-specific dance vocabulary and frame-level semantic annotations from existing Motorica dataset. Additionally, to rigorously quantify zero-shot editability, we propose the Exchange Evaluation Protocol and Editable Dance Score (EDS). Through extensive experiments, STREAM achieves state-of-the-art alignment between motion and music while perfectly preserving choreographic semantics, positioning AI not merely as a reactive synthesizer, but as a controllable, collaborative partner for artistic direction. The source code and datasets are available at https://github.com/SeongJong-Yoo/STREAM.