Fake or JPEG? Revealing Common Biases in Generated Image Detection Datasets

📄 arXiv: 2403.17608v2 📥 PDF

作者: Patrick Grommelt, Louis Weiss, Franz-Josef Pfreundt, Janis Keuper

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-26 (更新: 2024-03-28)

💡 一句话要点

揭示生成图像检测数据集中的偏差以提高检测性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 生成图像检测 数据集偏差 JPEG压缩 跨生成器性能 鲁棒性提升

📋 核心要点

  1. 现有的生成图像检测数据集存在JPEG压缩和图像大小等偏差，影响检测器的性能和评估。
  2. 论文提出通过去除数据集中的偏差来提高检测器的鲁棒性和跨生成器性能，采用GenImage数据集进行验证。
  3. 实验结果表明，去除偏差后，ResNet50和Swin-T检测器的跨生成器性能提高超过11个百分点，达到了最先进水平。

📝 摘要（中文）

随着生成图像模型的广泛应用，检测人工内容的需求愈发紧迫，这是打击广泛操控和虚假信息的重要步骤。因此，许多检测器及相关数据集相继出现。然而，这些数据集往往无意中引入了不良偏差，影响了检测器的有效性和评估。本文强调，许多用于AI生成图像检测的数据集存在与JPEG压缩和图像大小相关的偏差。通过使用GenImage数据集，我们证明检测器确实从这些不良因素中学习。此外，我们展示了去除这些偏差显著提高了对JPEG压缩的鲁棒性，并显著改变了评估检测器的跨生成器性能。具体而言，对于ResNet50和Swin-T检测器，在GenImage数据集上跨生成器性能提高了超过11个百分点，达到了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决生成图像检测数据集中存在的JPEG压缩和图像大小偏差问题，这些偏差会导致检测器学习到不必要的特征，从而影响其性能和评估结果。

核心思路：论文的核心思路是通过去除数据集中的偏差，提升检测器对JPEG压缩的鲁棒性，并改善跨生成器的性能。这样的设计可以使检测器更专注于图像内容本身，而非图像的压缩特征。

技术框架：整体架构包括数据集的构建、偏差的识别与去除、检测器的训练与评估。主要模块包括数据预处理、模型训练和性能评估。

关键创新：最重要的技术创新在于识别并去除影响检测器性能的偏差，尤其是JPEG压缩和图像大小的影响。这一方法与现有方法的本质区别在于关注数据集本身的质量，而非单纯依赖于模型架构的改进。

关键设计：在技术细节上，论文对数据集进行了精细化处理，确保去除偏差后，检测器在训练过程中能够学习到更具代表性的特征。此外，采用了标准的损失函数和网络结构，以确保实验的可重复性和结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，去除JPEG压缩和图像大小偏差后，ResNet50和Swin-T检测器在GenImage数据集上的跨生成器性能提高了超过11个百分点，达到了最先进的结果。这一显著提升表明，数据集的质量对检测器性能至关重要。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、新闻真实性验证以及任何需要检测生成图像的场景。通过提高检测器的鲁棒性和准确性，能够有效打击虚假信息传播，维护信息的真实性和可靠性。未来，随着生成图像技术的不断发展，该研究的成果将对相关领域产生深远影响。

📄 摘要（原文）

The widespread adoption of generative image models has highlighted the urgent need to detect artificial content, which is a crucial step in combating widespread manipulation and misinformation. Consequently, numerous detectors and associated datasets have emerged. However, many of these datasets inadvertently introduce undesirable biases, thereby impacting the effectiveness and evaluation of detectors. In this paper, we emphasize that many datasets for AI-generated image detection contain biases related to JPEG compression and image size. Using the GenImage dataset, we demonstrate that detectors indeed learn from these undesired factors. Furthermore, we show that removing the named biases substantially increases robustness to JPEG compression and significantly alters the cross-generator performance of evaluated detectors. Specifically, it leads to more than 11 percentage points increase in cross-generator performance for ResNet50 and Swin-T detectors on the GenImage dataset, achieving state-of-the-art results. We provide the dataset and source codes of this paper on the anonymous website: https://www.unbiased-genimage.org