Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis

📄 arXiv: 2404.19622v1 📥 PDF

作者: Shivam Mehta, Anna Deichler, Jim O'Regan, Birger Moëll, Jonas Beskow, Gustav Eje Henter, Simon Alexanderson

分类: cs.HC, cs.CV, cs.GR, cs.SD, eess.AS

发布日期: 2024-04-30

备注: 13+1 pages, 2 figures, accepted at the Human Motion Generation workshop (HuMoGen) at CVPR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出合成数据方法以解决多模态语音与手势合成的数据短缺问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态合成 合成数据 语音合成 手势合成 韵律建模 数据稀缺 深度学习

📋 核心要点

  1. 现有方法依赖于多模态平行数据，导致在数据稀缺情况下性能受限。
  2. 通过合成额外的训练数据，利用单模态模型生成多模态平行数据，进而预训练联合合成模型。
  3. 实验结果显示，预训练合成数据显著提升了语音和运动合成的质量，提出的新架构进一步增强了效果。

📝 摘要（中文）

尽管人类在面对面交流中同时进行语言和非语言的沟通，但从文本中联合合成语音音频和共语3D手势运动的方法仍处于新兴领域。这些技术有望实现更人性化、高效、富有表现力和稳健的合成交流，但目前受到适当大型数据集缺乏的制约。本文提出了一种简单的解决方案，通过合成额外的训练材料来缓解数据短缺问题。具体而言，我们利用在大型数据集上训练的单模态合成模型创建多模态（但合成的）平行训练数据，并在此材料上预训练联合合成模型。此外，我们提出了一种新的合成架构，增强了对韵律建模的控制。实验结果表明，在大量合成数据上预训练可以提高多模态模型合成的语音和运动质量，所提架构在合成数据预训练时更具优势。

🔬 方法详解

问题定义：本文旨在解决多模态语音与手势合成中的数据短缺问题。现有方法通常依赖于多模态平行数据进行训练，这在数据稀缺的情况下显得尤为困难，限制了合成质量和表现力。

核心思路：论文提出通过合成额外的训练材料来解决数据短缺问题，具体是利用在大型单模态数据集上训练的模型生成多模态合成数据，从而为联合合成模型提供丰富的训练素材。

技术框架：整体架构包括两个主要阶段：首先，使用单模态合成模型生成合成的多模态平行数据；其次，在这些合成数据上预训练联合合成模型。新架构还引入了更好的韵律建模模块，以增强合成的自然性和可控性。

关键创新：最重要的技术创新在于提出了合成数据的生成方法，并结合新的韵律建模架构，使得合成模型在数据稀缺的情况下仍能获得较高的性能。这与传统方法依赖真实数据的方式形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以平衡语音与手势的合成质量，同时在韵律建模中引入了可控参数，以便于在合成过程中调整语音的表现力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，预训练在合成数据上显著提高了多模态模型的性能，语音和手势合成的质量均有明显提升。具体而言，合成模型在合成质量上较基线方法提升了XX%，显示出新架构的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟助手、动画角色、教育培训和人机交互等。通过提高合成语音和手势的自然性与一致性，可以显著提升用户体验，推动相关技术的商业化和普及。未来，合成数据的生成方法也可能应用于其他多模态任务，进一步拓展其影响力。

📄 摘要（原文）

Although humans engaged in face-to-face conversation simultaneously communicate both verbally and non-verbally, methods for joint and unified synthesis of speech audio and co-speech 3D gesture motion from text are a new and emerging field. These technologies hold great promise for more human-like, efficient, expressive, and robust synthetic communication, but are currently held back by the lack of suitably large datasets, as existing methods are trained on parallel data from all constituent modalities. Inspired by student-teacher methods, we propose a straightforward solution to the data shortage, by simply synthesising additional training material. Specifically, we use unimodal synthesis models trained on large datasets to create multimodal (but synthetic) parallel training data, and then pre-train a joint synthesis model on that material. In addition, we propose a new synthesis architecture that adds better and more controllable prosody modelling to the state-of-the-art method in the field. Our results confirm that pre-training on large amounts of synthetic data improves the quality of both the speech and the motion synthesised by the multimodal model, with the proposed architecture yielding further benefits when pre-trained on the synthetic data. See https://shivammehta25.github.io/MAGI/ for example output.