DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation

📄 arXiv: 2608.17707v1 📥 PDF

作者: Yubo Huang, Sirui Zhao, Xinchen Yao, Zhengye Zhang, Jinyang Huang, Fengqi Cui, Shiwei Wu, Enhong Chen

分类: cs.CV, cs.MM

发布日期: 2026-08-18

备注: Accepted at ACM International Conference on Multimedia (MM '26)

💡 一句话要点

提出DynaForcing以解决自我强制蒸馏中的动态崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音频驱动生成 虚拟形象 自我强制蒸馏 动态崩溃 深度学习 计算机视觉 实时流媒体 运动奖励

📋 核心要点

  1. 现有自我强制蒸馏方法在动态生成中面临动态崩溃，导致模型缺乏时间动态性。
  2. DynaForcing通过锚定真实动态、引入运动奖励和扰动参考图像等策略，打破反馈循环，增强模型动态性。
  3. 实验结果显示，DynaForcing在动态性和视觉质量上均有显著提升，解决了早停问题。

📝 摘要（中文）

音频驱动的虚拟形象生成需要实现逼真的嘴型同步、富有表现力的动作和实时流媒体传输。近期的研究通过自我强制与分布匹配蒸馏（DMD）实现了这一目标，但该方法存在动态崩溃的问题，即学生模型收敛到一个近乎静态的最优解，导致时间动态性严重受限。本文提出DynaForcing训练框架，通过三种互补策略解决该问题，包括在数据层面锚定真实动态、引入显式运动奖励以对抗反向KL偏差，以及扰动参考图像以解耦身份与静态细节。实验表明，DynaForcing在恢复动态性方面达到了与教师模型相当的水平，同时改善了视觉质量，解决了训练过程中的质量与动态性权衡问题。

🔬 方法详解

问题定义：本文旨在解决音频驱动虚拟形象生成中的动态崩溃问题。现有的自我强制蒸馏方法在训练过程中，学生模型往往收敛到一个静态的最优解，导致时间动态性受到严重抑制，影响嘴型同步和表情的自然性。

核心思路：DynaForcing的核心思路是通过三种互补策略来打破动态崩溃的反馈循环。首先，在数据层面锚定真实动态，以确保模型生成的动作与真实数据一致；其次，通过引入运动奖励，抵消反向KL偏差对模型动态性的抑制；最后，扰动参考图像以解耦身份与静态细节，促使模型依赖音频进行动作生成。

技术框架：DynaForcing的整体架构包括三个主要模块：数据层的Hybrid Forcing、损失层的Dynamics-Aware Reward Regularization和条件层的Reference Perturbation。每个模块在不同层面上对抗动态崩溃，确保生成的虚拟形象既具备高质量的视觉效果，又能保持良好的动态表现。

关键创新：DynaForcing的最大创新在于其综合性策略，通过在不同层面引入动态性约束，显著改善了现有方法在动态生成中的不足，尤其是解决了自我强制蒸馏中的反馈循环问题。

关键设计：在参数设置上，DynaForcing引入了显式运动奖励的损失函数，并通过计算图剪枝和梯度重放技术，显著降低了自我强制的GPU占用，提升了训练效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DynaForcing在动态性恢复方面达到了与教师模型相当的水平（Dyn-Deg: 0.31提升至0.73），同时视觉质量也有所改善（Sync-C: 7.03提升至7.68），有效解决了训练过程中的质量与动态性权衡问题。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和社交媒体中的虚拟形象生成。通过提升音频驱动的虚拟形象生成技术，DynaForcing能够为用户提供更加自然和生动的互动体验，推动相关行业的发展和创新。

📄 摘要（原文）

Audio-driven avatar generation requires realistic lip-sync, expressive motion, and real-time streaming. Recent work achieves the latter via self-forcing with Distribution Matching Distillation (DMD), but this paradigm suffers from a critical failure that has not been systematically characterized: dynamic collapse, where the student model converges to a near-static optimum with high perceptual quality but severely suppressed temporal dynamics. We trace this to two causes: the reverse KL objective in DMD, which biases toward low-motion modes, and unanchored self-conditioning, which creates a feedback loop that amplifies collapse. This is especially harmful for avatars, where even subtle motion loss breaks lip-sync and expression. To address this, we propose DynaForcing, a training framework with three complementary strategies applied at different levels. Specifically, Hybrid Forcing anchors rollouts to ground-truth dynamics at the data level to break the feedback loop. Dynamics-Aware Reward Regularization introduces explicit motion rewards via the RL interpretation of DMD to counteract the reverse KL bias at the loss level. Reference Perturbation perturbs reference images to decouple identity from static details, forcing the model to rely on audio for motion at the conditioning level. We further introduce computation graph pruning and gradient replay, reducing the GPU footprint of self-forcing by over an order of magnitude. Experiments show that DynaForcing recovers dynamics to teacher-comparable levels (Dyn-Deg: 0.31 -> 0.73, Sync-C: 7.03 -> 7.68) while improving visual quality, resolving the quality-dynamics trade-off throughout training without early stopping.