TalkFlow: Structured Latent Flow Matching for Speech Driven Holistic Motion Generation
作者: Xinmu Wang, Fumi Honda, Xiang Gao, Xianfeng Gu, Xiyun Song, Heather Yu
分类: cs.GR, cs.CV
发布日期: 2026-10-29
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出TalkFlow以解决语音驱动的整体动作生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 整体动作生成 语音驱动 潜在流匹配 多模态学习 面部表情合成 手势生成 跨流交互 动态建模
📋 核心要点
- 现有方法在生成整体动作时难以处理部分特定动态和跨部分协调，导致生成结果不够自然和一致。
- TalkFlow通过学习三流潜在表示，分别处理上半身、下半身和面部表情，避免了将异构运动组件强行压缩到单一潜在空间的问题。
- 在BEAT2数据集上的实验表明，TalkFlow在面部表情准确性和身体手势质量上优于现有方法，生成的动作更自然且与语音高度一致。
📝 摘要（中文）
整体语音驱动的动作生成旨在从语音合成协调的面部表情、手势和身体动作，这一过程面临着部分特定动态、长时间序列一致性和跨部分协调等挑战。我们提出了TalkFlow，一个结构化的潜在流框架，用于语音驱动的整体动作生成。TalkFlow学习了一个连续的三流潜在表示，分别用于上半身动作、下半身动作和面部表情，保持了部分特定的动态。通过轻量级的跨流交互，TalkFlow在潜在表示学习和基于流的生成中维持整体协调。基于多层次的语音特征，TalkFlow执行语音条件的潜在流匹配，学习从源潜在到真实动作潜在的连续传输过程。实验结果表明，TalkFlow在面部表情准确性、身体手势质量和语音-动作同步性方面表现优异。
🔬 方法详解
问题定义：本论文旨在解决从语音生成协调的整体动作（包括面部表情、手势和身体动作）的问题。现有方法在处理高维动作时不稳定，且过于紧凑或无结构的潜在空间可能会丢失细粒度的运动细节。
核心思路：论文提出的TalkFlow框架通过学习三流潜在表示，分别处理上半身、下半身和面部表情，保持部分特定动态并实现整体协调。通过轻量级的跨流交互，TalkFlow能够在潜在表示学习和生成过程中有效整合不同部分的动态信息。
技术框架：TalkFlow的整体架构包括三个主要模块：上半身动作、下半身动作和面部表情的潜在表示学习模块，以及基于流的生成模块。通过多层次的语音特征，TalkFlow实现了语音条件的潜在流匹配，确保了生成动作的自然性和一致性。
关键创新：TalkFlow的主要创新在于其结构化的潜在流框架，避免了将异构运动组件压缩到单一潜在空间的问题，从而更好地保留了运动的细节和动态特性。
关键设计：在设计中，TalkFlow采用了轻量级的跨流交互机制，并在损失函数中引入了多层次语音特征的条件约束，以提高生成动作的质量和自然性。
🖼️ 关键图片
📊 实验亮点
在BEAT2数据集上的实验结果显示，TalkFlow在面部表情准确性、身体手势质量和语音-动作同步性方面均表现优异，生成的动作比现有最先进的方法更自然、富有表现力，且与语音高度一致。
🎯 应用场景
该研究的潜在应用领域包括动画制作、虚拟现实、游戏开发等，能够为这些领域提供更自然和生动的角色动作生成方案。未来，TalkFlow可能在人机交互和社交机器人等领域发挥重要作用，提升用户体验。
📄 摘要（原文）
Holistic co-speech motion generation aims to synthesize coordinated facial expressions, hand gestures, and body movements from speech, which is challenging due to heterogeneous part-specific dynamics, long-range temporal coherence, and cross-part coordination. Directly modeling high-dimensional motion can be unstable, while overly compact or unstructured latent spaces may lose fine-grained motion details. We present \textbf{TalkFlow}, a structured latent flow framework for speech-driven holistic motion generation. TalkFlow learns a continuous three-stream latent representation for upper-body motion, lower-body motion, and facial expressions, preserving part-specific dynamics without forcing heterogeneous motion components into a single latent space. To maintain holistic coordination, lightweight cross-stream interactions are incorporated in both latent representation learning and flow-based generation. Conditioned on multi-level speech features, TalkFlow performs speech-conditioned latent flow matching, learning a continuous transport process from source latents to realistic motion latents. Experiments on the BEAT2 dataset demonstrate strong performance across facial expression accuracy, body gesture quality, and speech-motion synchronization. Qualitative comparisons and user studies further show that TalkFlow generates more natural, expressive, and speech-aligned holistic motion than state-of-the-art methods. The project page is available at https://xinmuwang.github.io/TalkFlow/.