Multi-Agent Forensic Reasoning for Generalizable Deepfake Video Detection

📄 arXiv: 2608.06865v1 📥 PDF

作者: Xuechao Zou, Shun Zhang, Kai Li, Yi Zhou, Xinyu Sun, Yuhui Chen, Zhe Wu, Congyan Lang, Junliang Xing

分类: cs.CV, cs.AI, cs.MA

发布日期: 2026-08-07

备注: 22 pages, 8 figures, 14 tables

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出多代理法医推理框架以解决深度伪造视频检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度伪造检测 多代理推理 法医分析 多模态学习 数据集构建

📋 核心要点

  1. 现有深度伪造视频检测方法在捕捉细微伪造伪迹方面存在不足，难以适应新兴的合成技术。
  2. 本文提出了FaceVid-Forensics-100K数据集和多代理法医推理框架，通过四个领域专家代理从不同角度分析伪造线索。
  3. 实验结果显示，该框架在开放域测试集上超越了所有对比方法，包括闭源模型，展现出优越的性能。

📝 摘要（中文）

随着生成性人工智能的恶意使用，制作高度逼真的深度伪造视频引发了严重的伦理问题，并对人工智能安全提出了重大挑战。然而，现有的深度伪造视频基准测试覆盖面有限，且缺乏可靠的细粒度文本注释。传统检测器和多模态大型语言模型（MLLMs）往往无法捕捉细微的伪造伪迹，限制了它们对新兴AI生成方法的泛化能力。为了解决这些问题，本文引入了FaceVid-Forensics-100K数据集，包含10万段视频，涵盖33种合成方法，并提供细粒度的视觉观察注释和一致的法医解释。基于此基准，提出了一种多代理法医推理框架，利用四个专业领域代理从纹理、光照、运动和物理四个角度独立分析伪造线索，最终由评判代理整合报告并生成预测及解释。大量评估表明，该框架在各项指标上均优于包括闭源GPT和Gemini模型在内的所有方法。

🔬 方法详解

问题定义：本文旨在解决现有深度伪造视频检测方法在捕捉细微伪造伪迹方面的不足，尤其是在面对新兴合成技术时的泛化能力不足的问题。

核心思路：提出了一种多代理法医推理框架，利用多个领域专家代理从不同角度独立分析伪造线索，最终由评判代理整合各代理的报告，生成最终预测和解释。这种设计旨在提高检测的准确性和可靠性。

技术框架：整体架构包括数据集构建、代理模型设计和推理流程。数据集FaceVid-Forensics-100K提供了丰富的训练和评估数据，四个领域专家代理分别分析纹理、光照、运动和物理特征，评判代理负责整合分析结果。

关键创新：最重要的创新在于引入了多代理协作机制，使得不同领域的专家能够从多角度分析伪造线索，显著提升了检测的准确性和鲁棒性。这与传统单一模型分析的方式形成了鲜明对比。

关键设计：在模型设计上，采用了小型开源MLLMs进行代理模型的构建，结合细粒度文本注释和法医解释，确保了分析过程的透明性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管框架完全基于小型开源MLLMs，但在所有报告的指标上均超越了包括闭源GPT和Gemini模型在内的所有方法，展现出显著的性能提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、新闻媒体真实性验证以及法律取证等。通过提高深度伪造视频的检测能力，可以有效维护信息安全和社会信任，未来可能对相关行业产生深远影响。

📄 摘要（原文）

The malicious use of generative artificial intelligence to create highly realistic deepfake videos raises serious ethical concerns and poses substantial challenges to AI safety. However, existing deepfake video benchmarks provide limited coverage of recent synthesis methods and generally lack reliable fine-grained textual annotations. Meanwhile, conventional detectors and multimodal large language models (MLLMs), whether operating as a single model or relying on a single analytical perspective, often fail to capture subtle forgery artifacts, limiting their generalization to emerging AI-generated methods. To address these limitations, we introduce FaceVid-Forensics-100K, a large-scale deepfake video dataset comprising 100,000 videos and spanning 33 synthesis methods across face swapping, face reenactment, and entire-face synthesis, including recent generators such as Seedance 2.0. The dataset provides fine-grained textual annotations of visual observations and verdict-consistent forensic explanations, automatically synthesized through a multi-model aggregation and conflict-resolution pipeline powered by advanced MLLMs. Building on this benchmark, we propose a multi-agent forensic reasoning framework that employs four specialized domain-expert agents to independently analyze forgery cues from four perspectives: texture, lighting, motion, and physics. A judge agent then reconciles their reports to produce a final prediction together with an explanation. Extensive evaluations on out-of-domain test sets show that, despite being composed entirely of small open-source MLLMs, our framework outperforms all methods including closed-source GPT and Gemini models and ranks first across all reported metrics on this benchmark. The project page is available at https://xavierjiezou.github.io/ARGUS/.