Avatar-Forever: Decoupled Parallel Training for High-Quality Real-Time Infinite Avatars
作者: Ruibin Li, Tao Yang, Zhiyuan Ma, Fangzhou Ai, Shilei Wen, Lei Zhang
分类: cs.CV
发布日期: 2026-08-12
💡 一句话要点
提出Avatar-Forever以解决长视频生成中的质量与效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频生成 蒸馏训练 并行训练 高质量生成 虚拟化身 流媒体视频 恢复导向训练
📋 核心要点
- 现有的蒸馏训练方法在长视频生成中面临质量下降和训练收敛困难的问题。
- 提出的Avatar-Forever框架通过解耦生成效率与长时间鲁棒性，实现并行训练，提高了生成质量与稳定性。
- 基于22B视频基础模型，Avatar-Forever在单个H100 GPU上实现了27.2 FPS的高分辨率视频生成，展现出显著的性能提升。
📝 摘要（中文）
现有的流媒体视频系统通常依赖于顺序的蒸馏训练流程来实现少步长视频生成，但这种方法存在两个主要局限性：一是早期阶段的失败或分布变化会影响后续优化，导致训练过程难以收敛；二是蒸馏中心目标偏向短期生成，容易在长时间推理中出现质量下降。为此，本文提出Avatar-Forever，一个解耦的并行训练框架，旨在实现高质量实时无限交互化身。该框架将生成效率与长时间鲁棒性视为两个独立的能力进行并行训练，从而简化了整体训练过程，并避免了少步生成与长时间适应之间的目标冲突。
🔬 方法详解
问题定义：本文旨在解决现有流媒体视频生成方法在长视频生成中的质量下降和训练收敛困难的问题。现有方法依赖于顺序蒸馏训练，导致早期阶段的错误影响后续优化。
核心思路：Avatar-Forever框架将生成效率与长时间鲁棒性视为两个独立的能力，通过并行训练来提升生成质量和稳定性，从而避免了目标冲突。
技术框架：该框架包括两个主要分支：一个分支进行全参数蒸馏以训练高视觉质量的高效生成器，另一个分支通过恢复导向的回滚训练（RRT）来训练轻量级的长时间适配器。
关键创新：最重要的创新在于解耦的并行训练设计，使得生成效率与长时间适应可以独立优化，显著简化了训练过程。
关键设计：在训练过程中，采用了ForeverCache机制以减少流媒体推理中的冗余历史计算，同时在网络结构上进行了优化，以支持高分辨率视频生成。
🖼️ 关键图片
📊 实验亮点
Avatar-Forever在单个H100 GPU上实现了768x512高分辨率视频生成，达到27.2 FPS的实时性能，相较于传统方法显著提升了生成效率和视觉质量，展现出强大的应用潜力。
🎯 应用场景
Avatar-Forever的研究成果在虚拟现实、游戏开发、在线教育等领域具有广泛的应用潜力。其高质量的实时无限交互化身生成能力，可以为用户提供更加沉浸和个性化的体验，推动数字人类技术的发展与普及。
📄 摘要（原文）
Existing streaming video systems often rely on sequential, distillation-centered training pipelines to enable few-step long-video generation. However, this paradigm suffers from two limitations. First, failures or distribution shifts introduced in earlier stages affect later optimization, complicating the training process to converge. Second, the distillation-centric objective favours short-term generation but is prone to quality degradation when autoregressive errors accumulate over long rollouts. We propose Avatar-Forever, a decoupled parallel training framework for high-quality real-time infinite interactive avatars. Instead of coupling generation efficiency and long-horizon robustness under a sequential distillation pipeline, we treat them as two independent capabilities that can be trained in parallel. One branch performs full-parameter distillation to train an efficient generator with high visual quality, while another trains a lightweight long-horizon adapter via Recovery-oriented Rollout Training (RRT), which improves generation robustness under long-horizon inference conditions. Our decoupled parallel training design simplifies the overall training process and avoids unnecessary objective conflicts between few-step generation and long-horizon adaptation. We further introduce ForeverCache, a chunk-wise feature caching mechanism to substantially reduce redundant history computation during streaming inference. Built upon a 22B video foundation model, Avatar-Forever supports unbounded audio-driven avatar generation while maintaining identity consistency, motion coherence, and visual fidelity, enabling an end-to-end throughput of high-resolution 768x512 videos at 27.2 FPS on a single H100 GPU and providing a practical path toward stable digital humans.