ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance
作者: Salaheldin Mohamed, M. Hamza Mughal, Rishabh Dabral, Christian Theobalt
分类: cs.CV
发布日期: 2026-06-11
💡 一句话要点
提出ReFree-S2V以解决真实感对话视频生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 语音驱动动画 流匹配训练 多层次语音表示 奖励无关强化学习 自然语言处理 计算机视觉 人机交互
📋 核心要点
- 现有的语音驱动动画方法通常在唇部同步和面部表情之间存在权衡，导致生成的动画要么准确但缺乏表现力，要么富有表现力但同步效果差。
- 论文提出的ReFree-S2V框架通过多层次语音表示和流匹配训练，能够同时实现准确的唇部同步和自然的面部运动，克服了现有方法的不足。
- 实验结果表明，ReFree-S2V在唇部同步精度和人类评估的自然性与表现力方面均显著优于现有方法，达到了最先进的性能。
📝 摘要（中文）
本论文提出了一种基于奖励无关强化学习和多层次语音引导的框架ReFree-S2V，旨在生成自然对话行为的逼真视频。尽管现有视频生成技术在动画真实感上取得了显著进展，但在准确的唇部发音和富有表现力的行为之间仍然存在挑战。ReFree-S2V通过引入多层次语音表示，结合流匹配训练，能够实现精细的语音发音和自然的面部表情，显著提升了唇部同步精度和动画的自然性与表现力。
🔬 方法详解
问题定义：本论文旨在解决语音驱动的对话视频生成中，唇部发音与面部表情之间的同步问题。现有方法往往在准确性与表现力之间存在权衡，导致生成的动画效果不理想。
核心思路：ReFree-S2V框架通过引入多层次语音表示，捕捉语音的音素和韵律信息，并将其注入到变换器模块中，从而实现更精细的唇部同步和自然的面部运动。
技术框架：该框架基于预训练的视频生成模型，采用流匹配训练方法，结合奖励无关强化学习，避免了对手工同步指标或人类偏好标注的依赖。主要模块包括多层次语音表示生成、流匹配训练和变换器模块。
关键创新：论文的核心创新在于引入了多层次语音表示和奖励无关强化学习策略，使得模型能够在不依赖传统同步指标的情况下，生成更自然的动画效果。
关键设计：在模型设计中，使用可学习的层选择器将多层次语音表示注入变换器模块，优化了唇部同步和面部运动的表现。此外，流匹配训练方法有效地减少了不自然运动的生成。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ReFree-S2V在唇部同步精度上显著优于现有方法，具体提升幅度达到XX%（具体数据未知）。在自然性和表现力的定性评估中，ReFree-S2V也获得了更高的评分，证明了其在生成真实感对话视频方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟角色动画、游戏开发、影视制作以及人机交互等。通过生成更自然的对话视频，ReFree-S2V能够提升用户体验，推动相关行业的发展。未来，该技术可能在社交媒体和在线教育等领域发挥重要作用。
📄 摘要（原文）
Speech-driven talking character animation seeks to generate life-like portrait videos that convey natural conversation behavior, aligning facial motion with spoken audio. Although recent advances in video generation have substantially improved realism in video-based animation, achieving both accurate lip articulation and expressive behavior remains challenging. Existing approaches typically trade off precise phoneme-to-lip synchronization against dynamic facial expressions and head motion, yielding animations that are either accurate yet rigid, or expressive but poorly synchronized. We address this challenge by proposing ReFree-S2V, a flow-matching speech-to-portrait animation framework that builds upon a pretrained video generation model to achieve fine-grained speech articulation and high-level expressive cues in speech-driven portrait animation. This model introduces a multi-level speech representation capturing phonetic and prosodic information at both local and global granularities. These representations are selectively injected into transformer blocks via learnable level selectors, enabling both accurate lip synchronization and natural expressive motion. To achieve natural head movements, we further introduce a novel reward-free reinforcement learning scheme into flow-matching training to discourage perceptually implausible motion without relying on handcrafted synchronization metrics or reward models, or the high cost of human preference annotation. Extensive experiments demonstrate that ReFree-S2V achieves state-of-the-art performance, significantly outperforming existing methods in both quantitative lip-sync accuracy and qualitative human evaluations of naturalness and expressivity.