Foundation Models are Implicit Deepfake Detectors
作者: Stefan Smeu, Dragos-Alexandru Boldisor, Elisabeta Oneata, Dan Oneata
分类: cs.CV
发布日期: 2026-08-10
💡 一句话要点
提出利用基础模型进行深伪检测的新方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深伪检测 异常检测 预训练模型 特征幅度 语义偏移
📋 核心要点
- 当前深伪检测方法依赖于预训练模型，但其有效性和特性尚不明确，导致检测性能不稳定。
- 本研究将深伪检测视为异常检测问题，利用特征幅度的统计特性进行有效区分，简化了检测流程。
- 实验结果表明，基于特征幅度的检测方法在性能上与复杂方法相当，且随着模型规模增大，检测能力显著提升。
📝 摘要（中文）
预训练的自监督表示已成为当前深伪检测方法的核心组成部分，但尚不清楚其哪些特性使真实和虚假媒体可区分。本研究揭示了一个一致的现象：在多个预训练模型、数据集以及图像和视频领域中，虚假样本的表示幅度系统性低于真实样本。基于这一发现，我们将深伪检测形式化为异常检测问题，并展示特征幅度的简单统计能够与更复杂的深伪检测方法竞争。我们进一步探讨了这一效应的来源，表明特征幅度的降低主要与虚假内容引入的语义偏移相关，而低级生成指纹的作用相对较小。最后，我们表明，随着基础模型规模的增大，这一判别信号会增强，表明表示学习的进展自然转化为更强的零样本深伪检测器。
🔬 方法详解
问题定义：本论文旨在解决当前深伪检测方法在特征区分性上的不足，尤其是如何有效利用预训练模型的表示能力来识别虚假内容。现有方法往往依赖复杂的特征提取和分类器，导致计算开销大且难以解释。
核心思路：论文提出将深伪检测视为异常检测问题，利用特征幅度的统计特性来区分真实与虚假样本。通过分析多个预训练模型的输出，发现虚假样本的特征幅度普遍较低，这一现象为检测提供了新的视角。
技术框架：整体架构包括数据预处理、特征提取和异常检测三个主要模块。首先，对输入图像或视频进行预处理，然后通过预训练模型提取特征，最后利用简单的统计方法进行异常检测。
关键创新：最重要的技术创新在于将深伪检测问题转化为特征幅度的异常检测，简化了检测流程，并且发现特征幅度的降低主要与语义偏移相关，而非低级生成指纹。
关键设计：在特征提取阶段，选择了多个预训练模型进行对比，使用简单的统计方法（如均值和标准差）来评估特征幅度，确保方法的高效性与可解释性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于特征幅度的检测方法在多个数据集上表现出色，能够与复杂的深伪检测方法相媲美，且在模型规模增大时，检测性能显著提升，表明该方法具有良好的扩展性和实用性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容审核、视频监控系统以及新闻媒体的真实性验证。通过提供一种高效且易于实现的深伪检测方法，能够帮助相关行业更好地识别和应对虚假信息，从而提升信息的可信度和安全性。
📄 摘要（原文）
Pretrained self-supervised representations have emerged as a core component of current deepfake detection methods, yet it remains unclear which of their properties make real and fake media distinguishable. In this work, we uncover a surprisingly consistent phenomenon: across multiple pretrained models, datasets, and both image and video domains, fake samples systematically produce lower-magnitude representations than their real counterparts. Motivated by this finding, we formulate deepfake detection as an anomaly detection problem and show that simple statistics of feature magnitude achieve competitive performance with far more sophisticated deepfake detection methods. We further investigate the origin of this effect and demonstrate that reduced feature magnitude is primarily associated with semantic shifts introduced by fake content, while low-level generative fingerprints play a comparatively smaller role. Finally, we show that this discriminative signal strengthens as the size of the underlying foundation model grows, suggesting that advances in representation learning naturally translate into stronger zero-shot deepfake detectors.