Fit for Purpose? Deepfake Detection in the Real World

📄 arXiv: 2510.16556v2 📥 PDF

作者: Guangyu Lin, Li Lin, Christina P. Walker, Daniel S. Schiff, Shu Hu

分类: cs.CV

发布日期: 2025-10-18 (更新: 2025-10-30)

💡 一句话要点

构建真实政治Deepfake基准，揭示现有检测器泛化能力不足

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Deepfake检测 政治Deepfake 真实数据基准 泛化能力 鲁棒性评估

📋 核心要点

  1. 现有deepfake检测模型主要在合成数据集上训练，缺乏对真实政治deepfake的泛化能力。
  2. 论文构建了基于真实政治Deepfake事件数据库的基准，用于系统评估现有检测器的性能。
  3. 实验表明，现有检测器在真实政治deepfake上表现不佳，易受简单攻击，需加强政治语境化。

📝 摘要（中文）

人工智能生成内容（特别是基于生成对抗网络、扩散模型和多模态大语言模型）的迅速普及，使得合成媒体的创建和传播变得轻而易举，从而加剧了错误信息的风险，尤其是扭曲真相并破坏对政治机构信任的政治deepfake。作为回应，政府、研究机构和行业大力推广deepfake检测计划作为解决方案。然而，大多数现有模型都是在合成的、实验室控制的数据集上训练和验证的，这限制了它们对在社交平台上流传的影响公众的真实政治deepfake的泛化能力。本文基于政治Deepfake事件数据库（一个自2018年以来在社交媒体上分享的真实政治deepfake的精选集合），引入了第一个系统性基准。我们的研究包括对来自学术界、政府和工业界的最新deepfake检测器的系统评估。我们发现，来自学术界和政府的检测器表现相对较差。虽然付费检测工具的性能相对高于免费访问模型，但所有评估的检测器都难以有效地泛化到真实的政治deepfake，并且容易受到简单的操作攻击，尤其是在视频领域。结果表明，需要政治语境化的deepfake检测框架，以便更好地在现实环境中保护公众。

🔬 方法详解

问题定义：现有deepfake检测方法主要在实验室环境下生成的合成数据上进行训练和评估，缺乏对真实世界政治deepfake的泛化能力。这些真实世界的deepfake通常具有更复杂的操作和伪造方式，使得现有检测器难以有效识别，从而导致错误信息的传播和对政治机构信任的破坏。

核心思路：论文的核心思路是构建一个基于真实政治deepfake的基准数据集，并在此数据集上系统地评估现有deepfake检测器的性能。通过这种方式，可以更准确地了解现有方法在实际应用中的局限性，并为未来的研究提供更可靠的评估标准。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建政治Deepfake事件数据库，收集自2018年以来在社交媒体上分享的真实政治deepfake；2) 选择来自学术界、政府和工业界的代表性deepfake检测器；3) 在构建的基准数据集上对这些检测器进行系统评估；4) 分析评估结果，揭示现有检测器在真实政治deepfake上的性能瓶颈。

关键创新：该论文的关键创新在于构建了第一个基于真实政治deepfake的系统性基准。与以往主要使用合成数据的研究不同，该基准能够更真实地反映实际应用场景中deepfake的特点和挑战，从而为deepfake检测的研究提供更具价值的参考。

关键设计：论文的关键设计在于数据集的构建和评估指标的选择。数据集的构建需要仔细筛选和标注真实政治deepfake，以确保其代表性和可靠性。评估指标的选择需要能够全面反映检测器在不同方面的性能，例如准确率、召回率和泛化能力。此外，论文还考虑了不同类型的攻击方式，例如简单的图像或视频操作，以评估检测器的鲁棒性。

📊 实验亮点

实验结果表明，现有deepfake检测器在真实政治deepfake上的性能显著低于在合成数据上的性能。来自学术界和政府的检测器表现相对较差，而付费检测工具的性能略有提升，但所有评估的检测器都难以有效地泛化到真实的政治deepfake，并且容易受到简单的操作攻击。例如，在视频领域，简单的图像处理技术就能显著降低检测器的准确率。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻媒体和政府机构，用于检测和识别政治deepfake，从而减少错误信息的传播，维护公众对政治机构的信任。未来的研究可以基于该基准开发更具鲁棒性和泛化能力的deepfake检测方法，并探索政治语境下的deepfake检测框架。

📄 摘要（原文）

The rapid proliferation of AI-generated content, driven by advances in generative adversarial networks, diffusion models, and multimodal large language models, has made the creation and dissemination of synthetic media effortless, heightening the risks of misinformation, particularly political deepfakes that distort truth and undermine trust in political institutions. In turn, governments, research institutions, and industry have strongly promoted deepfake detection initiatives as solutions. Yet, most existing models are trained and validated on synthetic, laboratory-controlled datasets, limiting their generalizability to the kinds of real-world political deepfakes circulating on social platforms that affect the public. In this work, we introduce the first systematic benchmark based on the Political Deepfakes Incident Database, a curated collection of real-world political deepfakes shared on social media since 2018. Our study includes a systematic evaluation of state-of-the-art deepfake detectors across academia, government, and industry. We find that the detectors from academia and government perform relatively poorly. While paid detection tools achieve relatively higher performance than free-access models, all evaluated detectors struggle to generalize effectively to authentic political deepfakes, and are vulnerable to simple manipulations, especially in the video domain. Results urge the need for politically contextualized deepfake detection frameworks to better safeguard the public in real-world settings.