Learning Unified Video and Image Representation for Video Face Forgery Detection

📄 arXiv: 2608.13064v1 📥 PDF

作者: Haotian Liu, Yang Liu, Guoying Zhao, Xiaobai Li

分类: cs.CV

发布日期: 2026-08-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出UVIF框架以解决视频人脸伪造检测中的部分伪造问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人脸伪造检测 视频分析 多任务学习 特征对齐 深度学习

📋 核心要点

  1. 现有方法通常假设伪造视频中的所有帧均被操控，导致部分伪造视频的检测面临挑战。
  2. 本文提出的UVIF框架利用额外的标注图像，通过统一编码器和多任务学习来检测部分伪造视频。
  3. 在基准数据集上的实验结果显示，UVIF在检测部分伪造视频时表现优于现有方法，且计算开销未增加。

📝 摘要（中文）

人脸伪造检测在面临快速发展的面部操控技术和深度生成模型的背景下，对于保护面部数据的安全性和完整性至关重要。现有的视频人脸伪造检测方法通常假设伪造视频中的所有帧均被操控，而仅包含部分伪造帧的视频检测仍然具有挑战性。为了解决这一问题，本文提出了一种新颖的框架UVIF，利用额外的标注图像为视频中的部分伪造检测提供细粒度的监督。UVIF采用统一编码器和多任务学习范式，联合建模面部视频和图像，以提升视频人脸伪造检测的效果。大量实验表明，该框架在检测部分伪造视频方面优于现有最先进的方法，同时没有引入额外的计算开销。

🔬 方法详解

问题定义：本文旨在解决视频人脸伪造检测中的部分伪造问题。现有方法假设所有帧均被操控，无法有效检测仅部分帧被操控的视频，导致检测准确率低下。

核心思路：论文提出的UVIF框架通过引入额外的标注图像，提供细粒度的监督信息，结合统一编码器和多任务学习，提升对部分伪造视频的检测能力。

技术框架：UVIF框架包括一个2D骨干网络和时间融合模块作为统一编码器，采用伪标签过程将视频帧的表示与静态图像的表示相连接，并引入视频导向的特征对齐策略以减少视频与图像之间的分布差距。

关键创新：UVIF的主要创新在于其多任务学习范式和伪标签过程，这使得模型能够有效利用静态图像的信息来增强视频帧的特征表示，从而提高部分伪造视频的检测性能。

关键设计：在网络结构上，采用了2D骨干网络，并设计了时间融合模块以捕捉视频帧之间的时序信息。同时，伪标签过程和特征对齐策略的设计，确保了视频和图像特征的有效对接。实验中未增加额外计算开销，保持了模型的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在基准数据集上的实验结果显示，UVIF框架在检测部分伪造视频时的性能显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据未知），且在计算开销上保持不变，展示了其高效性和实用性。

🎯 应用场景

该研究在视频监控、社交媒体内容审核和虚假信息检测等领域具有广泛的应用潜力。随着人脸伪造技术的不断进步，UVIF框架能够有效提升对伪造内容的检测能力，保护用户的隐私和数据安全，具有重要的实际价值和社会影响。

📄 摘要（原文）

Face forgery detection is crucial for preserving the security and integrity of facial data given the rapid developments in face manipulation techniques and deep generative models. Existing methods for video face forgery detection typically assume that all frames in a forged video are manipulated, while detecting partially forged videos that contain only a subset of altered frames remains challenging. To address this issue, we propose a novel framework, UVIF, that utilizes additional annotated images to provide fine-grained supervision for detecting partial forgeries in videos. UVIF employs a unified encoder and a multi-task learning paradigm to jointly model facial videos and images for boosted video face forgery detection. A 2D backbone with temporal fusion modules is employed as the unified encoder. A pseudo labeling process is designed for video frames to bridge their representations with those of static images. A video-oriented feature alignment strategy is further introduced to reduce the distribution gap between videos and images. Extensive experiments on benchmark datasets demonstrate the effectiveness of our framework, which outperforms state-of-theart methods in detecting partially forged videos while introducing no additional computational overhead. Our code is available at https://github.com/haotianll/UVIF.