Generalized Audio-Driven Synthesis of Precise Drummer Motion
作者: Álvaro G. Iñesta, Mattia Ryffel, Amit H. Bermano, Robert W. Sumner, Martin Guay
分类: cs.CV, cs.GR, cs.SD
发布日期: 2026-08-19
备注: Best Paper Award at the 25th ACM SIGGRAPH / Eurographics Symposium on Computer Animation (SCA 2026). For Supplementary Video, see https://studios.disneyresearch.com/2026/08/18/generalized-audio-driven-synthesis-of-precise-drummer-motion/
💡 一句话要点
提出生成扩散框架以解决音频驱动的鼓手动作合成问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)
关键词: 音频驱动合成 角色动画 生成模型 运动捕捉 数据增强
📋 核心要点
- 现有方法在从音频合成鼓击动作时，难以平衡高加速度动态与时空精度，且对真实音频的泛化能力不足。
- 本文提出了一种生成扩散框架，采用双目标损失函数，解耦骨骼完整性与鼓棒精度，实现高精度的鼓击动作合成。
- 实验结果表明，所提系统生成的动作质量高，用户研究显示与真实表演的差异难以察觉，性能显著提升。
📝 摘要（中文）
音乐驱动的角色动画在娱乐和互动教育中具有重要应用。然而，从音频合成逼真的鼓击动作仍然面临挑战，尤其是在高加速度动态与极高时空精度之间的矛盾。现有方法多依赖运动匹配或MIDI输入，难以适应多样化的真实音频。此外，缺乏标准化的评估指标来区分精确的鼓击与噪声运动。本文提出了一种生成扩散框架，采用双目标损失函数，将骨骼完整性与鼓棒精度解耦，从而实现厘米级的鼓棒精度而不牺牲自然的身体动态。通过利用自建数据集和数据增强策略，模型能够推广到非策划的真实音频。我们还提出了两种新颖的评估指标，以量化空间精度和评估时间对齐。定量分析和用户研究表明，我们的系统生成的动作质量高，常常与真实表演难以区分。
🔬 方法详解
问题定义：本文旨在解决从音频合成逼真鼓手动作的挑战，现有方法在高加速度动态与时空精度之间存在矛盾，且难以适应多样化的真实音频。
核心思路：提出一种生成扩散框架，通过双目标损失函数将骨骼完整性与鼓棒精度解耦，允许在保持自然身体动态的同时实现厘米级的鼓棒精度。
技术框架：整体架构包括数据预处理、生成模型训练和评估阶段。模型利用自建数据集进行训练，并通过数据增强策略提升泛化能力。
关键创新：最重要的创新在于引入双目标损失函数，能够有效解耦骨骼运动与鼓棒运动的精度，显著提高合成动作的自然性和精确性。
关键设计：在损失函数设计上，采用了空间精度与时间对齐的评估指标，并通过影响目标距离和音频-运动相关性评分来量化模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提系统在合成动作的空间精度上显著优于现有基线，影响目标距离的量化指标表明精度提升达到了厘米级，用户研究表明生成的动作与真实表演之间的差异几乎不可察觉。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、动画制作和教育培训等，能够为角色动画提供更为真实的表现，提升用户体验。未来，该技术可能在虚拟现实和增强现实中发挥重要作用，推动交互式娱乐的发展。
📄 摘要（原文）
Music-driven character animation enables and enhances transformative applications in entertainment and interactive education. However, synthesizing realistic drumming motion from audio remains challenging due to the inherent tension between high-acceleration dynamics and the need for extreme spatial-temporal precision. Existing approaches, often reliant on motion matching or MIDI input, struggle with generalizing to diverse real-world audio. Moreover, the field lacks standardized evaluation metrics capable of distinguishing precise drumming from noisy motion. In this paper, we introduce a generative diffusion framework featuring a dual-objective loss function that decouples skeletal integrity from drumstick precision, thus enabling centimeter-level stick precision without sacrificing natural body dynamics. Additionally, leveraging our own dataset and data augmentation strategy, the model generalizes to non-curated, in-the-wild audio. To rigorously evaluate performance, we propose two novel metrics: an impact-to-target distance to quantify spatial precision and an audio-motion correlation score to assess temporal alignment. Our quantitative analysis and user studies demonstrate that our system generates high-quality motion that is often indistinguishable from ground-truth performances.