VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis
作者: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu
分类: cs.CV
发布日期: 2024-03-13
备注: Project web: https://enriccorona.github.io/vlogger/
💡 一句话要点
提出VLOGGER以解决音频驱动的人类视频生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频驱动生成 多模态扩散 人类视频合成 3D运动生成 数据集构建 虚拟人技术
📋 核心要点
- 现有方法在音频驱动的人类视频生成中存在训练复杂、依赖面部检测和缺乏多样性等不足。
- VLOGGER通过引入随机人类到3D运动的扩散模型和增强的扩散架构，解决了上述问题，支持高质量视频生成。
- 在三个公共基准测试中，VLOGGER在图像质量、身份保持和时间一致性方面超越了现有最先进的方法，并生成上半身手势。
📝 摘要（中文）
我们提出了VLOGGER，一种基于音频驱动的单图像人类视频生成方法，建立在最近生成扩散模型的成功基础上。该方法包括一个随机人类到3D运动的扩散模型和一种新颖的扩散架构，增强了文本到图像模型的空间和时间控制能力。这支持生成可变长度的高质量视频，通过人脸和身体的高层次表示进行轻松控制。与之前的工作相比，我们的方法不需要为每个人进行训练，不依赖于面部检测和裁剪，生成完整图像（不仅仅是面部或嘴唇），并考虑广泛的场景（例如可见的躯干或多样的主体身份），这些对于正确合成交流中的人类至关重要。我们还策划了MENTOR，一个新的多样化数据集，具有3D姿势和表情注释，规模比以前的大一个数量级（80万个身份），并包含动态手势，在此基础上训练和消融我们的主要技术贡献。
🔬 方法详解
问题定义：论文旨在解决音频驱动的人类视频生成问题，现有方法面临训练复杂、依赖面部检测、生成内容有限等痛点。
核心思路：VLOGGER通过引入随机人类到3D运动的扩散模型，结合新颖的扩散架构，增强了文本到图像模型的空间和时间控制能力，从而实现高质量视频生成。
技术框架：整体架构包括两个主要模块：随机人类到3D运动的扩散模型和增强的扩散架构。前者负责生成3D运动，后者则负责生成与运动相匹配的高质量视频。
关键创新：VLOGGER的核心创新在于不需要为每个人进行训练，避免了面部检测和裁剪的依赖，能够生成完整图像而非局部内容，并考虑多样化场景。
关键设计：在技术细节上，VLOGGER使用了新的损失函数来优化生成质量，并设计了适应多样性和公平性的网络结构，以支持大规模训练。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
VLOGGER在三个公共基准测试中表现优异，具体而言，在图像质量、身份保持和时间一致性方面均超越了现有最先进的方法，生成的上半身手势也得到了有效提升，展示了其在多样性和公平性训练中的优势。
🎯 应用场景
VLOGGER的潜在应用领域包括视频编辑、个性化内容生成和虚拟现实等。其高质量的视频生成能力可以为社交媒体、影视制作和游戏开发等行业带来显著的实际价值，未来可能推动人机交互的进一步发展。
📄 摘要（原文）
We propose VLOGGER, a method for audio-driven human video generation from a single input image of a person, which builds on the success of recent generative diffusion models. Our method consists of 1) a stochastic human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture that augments text-to-image models with both spatial and temporal controls. This supports the generation of high quality video of variable length, easily controllable through high-level representations of human faces and bodies. In contrast to previous work, our method does not require training for each person, does not rely on face detection and cropping, generates the complete image (not just the face or the lips), and considers a broad spectrum of scenarios (e.g. visible torso or diverse subject identities) that are critical to correctly synthesize humans who communicate. We also curate MENTOR, a new and diverse dataset with 3d pose and expression annotations, one order of magnitude larger than previous ones (800,000 identities) and with dynamic gestures, on which we train and ablate our main technical contributions. VLOGGER outperforms state-of-the-art methods in three public benchmarks, considering image quality, identity preservation and temporal consistency while also generating upper-body gestures. We analyze the performance of VLOGGER with respect to multiple diversity metrics, showing that our architectural choices and the use of MENTOR benefit training a fair and unbiased model at scale. Finally we show applications in video editing and personalization.