Learning Spatiotemporal Inconsistency via Thumbnail Layout for Face Deepfake Detection

📄 arXiv: 2403.10261v2 📥 PDF

作者: Yuting Xu, Jian Liang, Lijun Sheng, Xiao-Yu Zhang

分类: cs.CV

发布日期: 2024-03-15 (更新: 2024-03-20)

备注: Accepted by IJCV

🔗 代码/项目: GITHUB

💡 一句话要点

提出Thumbnail Layout以解决深伪视频检测中的时空不一致性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 深伪检测 时空一致性 图推理 语义一致性 计算机视觉 深度学习 视频分析

📋 核心要点

  1. 现有深伪视频检测方法多依赖于复杂的3D CNN，计算开销大，限制了其应用。
  2. 本文提出Thumbnail Layout（TALL）策略，通过预定义布局保留视频的时空依赖性，简化了检测过程。
  3. TALL++在多项实验中表现出色，超越或接近现有最先进的检测方法，证明了其有效性。

📝 摘要（中文）

深伪技术对社会和网络安全构成了严重威胁，推动了深伪视频检测的研究。现有的视频级检测方法多基于3D卷积神经网络，计算需求高，尽管性能良好。本文提出了一种简单有效的策略，称为Thumbnail Layout（TALL），通过将视频片段转换为预定义布局来保留时空依赖关系。该过程通过在每帧相同位置上依次遮蔽帧，随后将这些帧调整为子帧并重新组织成预定布局，形成缩略图。TALL具有模型无关性且实现简单，仅需最小的代码修改。此外，本文引入了图推理模块（GRB）和语义一致性损失（SC loss）来增强TALL，最终形成TALL++。实验结果表明，TALL++在多种深伪检测任务中表现优异，超越或媲美现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决深伪视频检测中的时空不一致性问题。现有方法多依赖于复杂的3D CNN，导致高计算需求和效率低下。

核心思路：论文提出的Thumbnail Layout（TALL）策略通过将视频片段转换为预定义的布局，保留了时空依赖性，从而简化了检测过程。该方法通过遮蔽相同位置的帧并将其调整为子帧，形成缩略图。

技术框架：整体架构包括视频片段的遮蔽、子帧的调整与重组，以及图推理模块（GRB）和语义一致性损失（SC loss）的集成。GRB增强了不同语义区域之间的交互，SC loss则提高了模型的泛化能力。

关键创新：TALL的核心创新在于其模型无关性和简化的实现方式，显著降低了计算复杂度。引入的GRB和SC loss进一步提升了模型的性能，捕捉了语义层面的不一致性线索。

关键设计：在实现中，TALL仅需最小的代码修改，GRB模块通过图结构增强语义区域的交互，SC loss则通过施加一致性约束来优化语义特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项实验中，TALL++在内部数据集、跨数据集以及生成图像检测任务中均表现优异，超越或接近现有最先进的方法，验证了其在深伪检测中的有效性和广泛适用性。

🎯 应用场景

该研究在深伪视频检测领域具有广泛的应用潜力，能够有效提升视频内容的真实性验证，适用于社交媒体、新闻传播及网络安全等多个领域。未来，TALL的设计理念也可扩展至其他计算机视觉任务，推动相关技术的发展。

📄 摘要（原文）

The deepfake threats to society and cybersecurity have provoked significant public apprehension, driving intensified efforts within the realm of deepfake video detection. Current video-level methods are mostly based on {3D CNNs} resulting in high computational demands, although have achieved good performance. This paper introduces an elegantly simple yet effective strategy named Thumbnail Layout (TALL), which transforms a video clip into a pre-defined layout to realize the preservation of spatial and temporal dependencies. This transformation process involves sequentially masking frames at the same positions within each frame. These frames are then resized into sub-frames and reorganized into the predetermined layout, forming thumbnails. TALL is model-agnostic and has remarkable simplicity, necessitating only minimal code modifications. Furthermore, we introduce a graph reasoning block (GRB) and semantic consistency (SC) loss to strengthen TALL, culminating in TALL++. GRB enhances interactions between different semantic regions to capture semantic-level inconsistency clues. The semantic consistency loss imposes consistency constraints on semantic features to improve model generalization ability. Extensive experiments on intra-dataset, cross-dataset, diffusion-generated image detection, and deepfake generation method recognition show that TALL++ achieves results surpassing or comparable to the state-of-the-art methods, demonstrating the effectiveness of our approaches for various deepfake detection problems. The code is available at https://github.com/rainy-xu/TALL4Deepfake.