EVA: Zero-shot Accurate Attributes and Multi-Object Video Editing
作者: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang
分类: cs.CV
发布日期: 2024-03-24
备注: Project page: https://knightyxp.github.io/EVA
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EVA框架以解决视频编辑中的属性控制与布局保持问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频编辑 扩散模型 注意力机制 多属性控制 零-shot学习
📋 核心要点
- 现有的扩散视频编辑方法在同时编辑前景和背景时存在注意力权重分布不准确的问题，导致编辑效果不理想。
- EVA框架通过引入空间-时间布局引导的注意力机制，精确控制注意力权重，避免了注意力泄漏现象。
- 实验结果表明，EVA在多对象编辑场景中表现优异，达到了当前最先进的编辑效果，具有良好的推广性。
📝 摘要（中文）
当前基于扩散的视频编辑主要集中于局部编辑或全局风格编辑，但往往无法同时准确编辑前景和背景，同时保持原始布局。我们发现问题的关键在于注意力权重在指定区域的分布不精确，包括文本到属性控制的不准确和注意力泄漏。为此，我们提出EVA，一个针对复杂运动的人体视频的零-shot多属性视频编辑框架。我们引入了一种空间-时间布局引导的注意力机制，利用跨帧扩散特征的内在正负对应关系，避免注意力泄漏。EVA在多对象编辑场景中表现出色，能够实现准确的身份映射，并在真实场景中取得了最先进的结果。
🔬 方法详解
问题定义：论文旨在解决现有视频编辑方法在前景和背景同时编辑时注意力权重分布不准确的问题，导致编辑效果不理想，尤其是在复杂运动的人体视频中。
核心思路：EVA框架通过引入空间-时间布局引导的注意力机制，利用跨帧扩散特征的内在对应关系，精确控制注意力权重，从而避免注意力泄漏，提升编辑效果。
技术框架：EVA的整体架构包括多个模块，主要包括空间-时间布局引导的注意力机制、跨注意力层的离散文本嵌入，以及自注意力层中限制不同属性之间的交互。
关键创新：EVA的核心创新在于其零-shot多属性编辑能力和精确的注意力权重分布，这使得其在多对象编辑场景中能够实现准确的身份映射，显著优于传统方法。
关键设计：在设计中，EVA使用了离散文本嵌入以聚焦特定布局区域，并在自注意力层中限制不同属性的交互，确保了注意力的精确分配。
🖼️ 关键图片
📊 实验亮点
EVA在真实场景中的实验结果显示，其在多对象视频编辑任务中达到了最先进的性能，相较于现有基线方法，编辑效果提升幅度显著，具体性能数据未提供，但整体表现优异。
🎯 应用场景
EVA框架在视频编辑领域具有广泛的应用潜力，特别是在影视制作、游戏开发和社交媒体内容创作等场景中。其精准的属性控制和多对象编辑能力将极大提升视频编辑的效率和质量，未来可能推动相关技术的进一步发展与应用。
📄 摘要（原文）
Current diffusion-based video editing primarily focuses on local editing (\textit{e.g.,} object/background editing) or global style editing by utilizing various dense correspondences. However, these methods often fail to accurately edit the foreground and background simultaneously while preserving the original layout. We find that the crux of the issue stems from the imprecise distribution of attention weights across designated regions, including inaccurate text-to-attribute control and attention leakage. To tackle this issue, we introduce EVA, a \textbf{zero-shot} and \textbf{multi-attribute} video editing framework tailored for human-centric videos with complex motions. We incorporate a Spatial-Temporal Layout-Guided Attention mechanism that leverages the intrinsic positive and negative correspondences of cross-frame diffusion features. To avoid attention leakage, we utilize these correspondences to boost the attention scores of tokens within the same attribute across all video frames while limiting interactions between tokens of different attributes in the self-attention layer. For precise text-to-attribute manipulation, we use discrete text embeddings focused on specific layout areas within the cross-attention layer. Benefiting from the precise attention weight distribution, EVA can be easily generalized to multi-object editing scenarios and achieves accurate identity mapping. Extensive experiments demonstrate EVA achieves state-of-the-art results in real-world scenarios. Full results are provided at https://knightyxp.github.io/EVA/