Avatar V: Scaling Video-Reference Avatar Video Generation
作者: Benjamin Liang, Ce Chen, Desmond Lin, Ivan Somov, Jiajun Zhao, Jiewei Yuan, Jingfeng Zhang, Junhao Huang, Nik Nolte, Pedram Haqiqi, Penghan Wang, Rong Yan, Rui Zhang, Sam Prokopchuk, Sivan Wang, Viktor Goriachko, Yi Ren, Yuanming Li, Yutao Chen, Zhenhui Ye, Zhibin Hong, Zilong Nie, Zujin Guo
分类: cs.CV
发布日期: 2026-06-11
备注: 31 pages, 15 figures. All contributors are listed in alphabetical order by first name
💡 一句话要点
提出Avatar V以解决视频参考头像生成中的动态识别问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 头像建模 动态识别 稀疏注意力 超分辨率 个性化生成 深度学习 计算机视觉
📋 核心要点
- 现有方法主要依赖单一静态图像，无法充分捕捉动态运动特征，导致生成的头像视频在行为上缺乏可识别性。
- 本文提出Avatar V，通过视频参考条件下的身份建模，直接利用参考视频的完整标记序列，学习静态和动态特征。
- Avatar V在跨场景基准测试中表现出色，生成1080p视频，超越包括Seedance 2.0等在内的多种领先系统，提升了身份保留和生成质量。
📝 摘要（中文）
生成不仅在视觉上与目标个体相似，而且在行为上可识别的头像视频，忠实再现其说话节奏、手势倾向和表情动态，仍然是一个开放的挑战。现有方法主要依赖单一静态图像，无法捕捉动态运动特征。本文提出Avatar V，一个生产级框架，通过视频参考条件下的身份建模来解决这些局限。该模型直接基于参考视频的完整标记序列进行条件建模，学习再现静态身份属性和动态行为模式。我们引入了稀疏参考注意力机制、运动表示流和身份感知超分辨率细化器，支持超过1亿个训练片段，最终生成1080p的无限时长视频，在身份保留、唇同步和生成质量上均超越现有领先系统。
🔬 方法详解
问题定义：本文旨在解决生成头像视频时，现有方法无法有效捕捉目标个体的动态行为特征的问题。现有技术主要依赖静态图像，无法提供足够的身份信息，导致生成效果不佳。
核心思路：Avatar V通过视频参考条件下的身份建模，直接基于参考视频的完整标记序列进行学习，能够同时再现静态身份属性和动态行为模式。这种设计使得模型能够更好地捕捉个体的独特性。
技术框架：Avatar V的整体架构包括多个模块：稀疏参考注意力机制、运动表示流和身份感知超分辨率细化器。模型通过五阶段训练流程，包括流匹配预训练、个性微调、两阶段蒸馏和RLHF对齐，确保高效的训练和生成。
关键创新：最重要的技术创新点在于引入了稀疏参考注意力机制，使得模型能够以线性复杂度处理任意长度的参考视频，显著提升了生成的灵活性和效率。
关键设计：在模型设计中，采用了多种损失函数以优化生成质量，并通过超分辨率细化器提升视频的清晰度和细节表现。
🖼️ 关键图片
📊 实验亮点
Avatar V在跨场景基准测试中生成1080p视频，展现出卓越的身份保留和唇同步能力。与Seedance 2.0、Kling O3 Pro等领先系统相比，Avatar V在自动化指标和人工评估中均表现出超过10倍的性能提升，证明了其在生成质量上的显著优势。
🎯 应用场景
Avatar V在虚拟现实、游戏开发和社交媒体等领域具有广泛的应用潜力。通过生成高质量的个性化头像视频，可以提升用户体验，增强虚拟互动的真实感。此外，该技术在影视制作和在线教育等场景中也能发挥重要作用，推动内容创作的创新。
📄 摘要（原文）
Generating avatar videos that are not merely visually similar to a target individual but behaviorally recognizable, faithfully reproducing their talking rhythm, gestural tendencies, and expression dynamics, remains an open challenge. Existing methods predominantly condition on single static images, which provide insufficient identity information and cannot capture dynamic motion traits, while standard pixel-level objectives underserve the perceptually critical facial regions that determine avatar fidelity. We present Avatar V, a production-scale framework that addresses these limitations through video-reference-conditioned identity modeling. Rather than compressing identity into fixed-size embeddings, the model conditions directly on the full token sequence of a reference video, learning to reproduce both static identity attributes (facial geometry, skin texture) and dynamic behavioral patterns (talking rhythm, micro-expressions) through attention over the reference context. We introduce Sparse Reference Attention, an asymmetric mechanism achieving linear-complexity conditioning on arbitrarily long references; a motion representation stream enabling closed-loop talking style transfer; and an identity-aware super-resolution refiner inheriting the full reference conditioning. These are supported by a data engine curating 100M+ training clips from 50M raw videos, and a five-stage training pipeline with flow matching pre-training, personality fine-tuning, two-phase distillation (>10x acceleration), and RLHF alignment, deployed across thousands of GPUs. Avatar V generates 1080p videos of unlimited duration, achieving state-of-the-art identity preservation, lip synchronization, and generation quality on our cross-scene benchmark, consistently outperforming leading systems including Seedance 2.0, Kling O3 Pro, Veo 3.1, and OmniHuman 1.5 in both automated metrics and human evaluation.