ALADDIN: Adversarial Latent Diffusion Distillation for One-Step Identity Swapping

📄 arXiv: 2610.37503v1 📥 PDF

作者: Ivan Shchekotov, Timofei Gritsaev, Viacheslav Pirogov, Dmitry Vetrov

分类: cs.CV

发布日期: 2026-10-27

备注: Accepted to WACV 2027. 15 pages, 5 figures, 4 tables, including references and appendices

💡 一句话要点

提出ALADDIN以解决一阶段身份交换的效率与真实感问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 面部交换 对抗训练 潜在扩散 蒸馏学习 图像生成 深度学习 计算机视觉

📋 核心要点

  1. 现有的扩散模型在面部交换中需要多次网络评估，导致效率低下，而GAN方法在训练时又面临真实感不足的问题。
  2. ALADDIN通过从预训练的多步流匹配模型初始化生成器，并在对抗训练中引入身份和目标保留约束，提出了一种高效的一步面部交换方法。
  3. 实验结果表明，ALADDIN在真实感和目标属性保留方面优于其他一步方法，同时在网络评估次数和训练样本上显著减少，提升了效率。

📝 摘要（中文）

面部交换技术旨在将源身份转移到目标图像上，同时保留目标的姿势、表情、发型和光照。当前最真实的方法基于扩散模型，但每张图像需要多次网络评估。虽然基于GAN的方法速度较快，但从零开始训练时仅依赖对抗信号学习真实感，效果明显较弱。本文提出的ALADDIN（对抗性潜在扩散蒸馏用于一步身份交换）通过从预训练的多步流匹配模型初始化生成器，并在身份和目标保留约束下进行对抗训练，构建了一种一步面部交换方法。我们通过三元伪标签监督训练学生模型，揭示了身份转移与目标属性保留之间的可控权衡。此外，我们识别出标准评估协议中的偏差，重新评估所有基线。ALADDIN在真实感和目标保留方面处于一步方法的最前沿，同时在身份转移相当的情况下，网络评估次数减少了28倍，训练样本减少了一个数量级。

🔬 方法详解

问题定义：本文旨在解决现有面部交换方法在效率和真实感上的不足，尤其是扩散模型需要多次评估的问题，以及GAN方法在训练时的真实感不足。

核心思路：ALADDIN通过从预训练的多步流匹配模型初始化生成器，结合对抗训练，确保在身份转移的同时有效保留目标图像的属性。

技术框架：该方法的整体架构包括生成器初始化、对抗训练过程以及三元伪标签监督。生成器通过对抗性损失和目标保留损失进行优化，以实现高效的身份交换。

关键创新：ALADDIN的主要创新在于通过对抗性潜在扩散蒸馏实现了一步身份交换，显著提高了效率和真实感，同时解决了标准评估协议中的偏差问题。

关键设计：在训练过程中，使用了特定的损失函数来平衡身份转移和目标属性保留，并通过三元伪标签监督来增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ALADDIN在真实感和目标属性保留方面超越了其他一步方法，同时在身份转移相当的情况下，网络评估次数减少了28倍，训练样本减少了一个数量级，展示了显著的效率提升。

🎯 应用场景

ALADDIN的研究成果在面部识别、虚拟现实、社交媒体内容生成等领域具有广泛的应用潜力。其高效的身份交换能力可以用于实时视频处理、个性化内容生成等场景，提升用户体验和交互性。

📄 摘要（原文）

Face swapping transfers a source identity onto a target image while preserving the target's pose, expression, hair, and lighting. The most realistic current methods are diffusion-based, but they need many network evaluations per image. GAN-based methods are fast, yet trained from scratch they must learn realism from the adversarial signal alone and produce visibly weaker results. We present ALADDIN (Adversarial Latent Diffusion Distillation for One-Step Identity Swapping), a one-step face swapper obtained by initialising the generator from a pre-trained multi-step flow-matching model and training it adversarially under identity and target-preservation constraints. We expose a controllable trade-off between identity transfer and target-attribute preservation by training a student model with triplet pseudo-label supervision. We additionally identify a bias in the standard evaluation protocol, which favours methods trained against the same identity encoder used to score them, and re-evaluate all baselines with an independent one. ALADDIN is state-of-the-art among one-step methods in realism and target preservation at comparable identity transfer, and matches the best multi-step model with 28 times fewer network evaluations and an order of magnitude fewer training pairs.