Understanding Why Foundation Models Work for Diffusion-Generated Image Detection
作者: Davide Cozzolino, Giovanni Poggi, Luisa Verdoliva
分类: cs.CV
发布日期: 2026-08-12
💡 一句话要点
探讨基础模型在扩散生成图像检测中的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 扩散生成 图像检测 特征提取 频率分析 图像取证 AI生成内容
📋 核心要点
- 现有方法对基础模型在扩散生成图像检测中的有效性缺乏深入理解，导致无法明确其成功原因。
- 论文设计了一种基于DDIM反演的分析协议，通过生成合成副本来探讨基础模型检测器的判别线索。
- 实验结果显示，检测器主要利用低中频特征进行区分，且再生图像的方差降低，提供了新见解。
📝 摘要（中文）
视觉基础模型最近成为检测AI生成图像的强大特征提取器，能够在不同生成器之间实现良好的泛化能力和对常见图像退化的鲁棒性。然而，它们有效性的原因尚不清楚。本文研究了基础模型检测器如何利用线索区分真实图像与扩散生成图像。通过设计基于DDIM反演的分析协议，生成了一系列合成副本，发现尽管这些副本在语义上与真实图像相似，但检测器的评分却因扩散合成引入的微妙痕迹而显著变化。频率交换分析表明，检测器主要利用低到中频范围的区分线索，而非仅依赖于高频范围。潜在空间分析显示再生图像的方差和有效维度降低，表明扩散模型未能完全再现真实数据的变异性。总体而言，研究结果表明基础模型检测器通过捕捉真实与扩散生成图像之间的非语义低中频分布差异而成功。
🔬 方法详解
问题定义：本文旨在探讨基础模型在检测扩散生成图像时的有效性及其背后的原因。现有方法对这一现象的理解不足，导致无法充分利用基础模型的潜力。
核心思路：通过设计基于DDIM反演的分析协议，生成一系列与真实图像相似的合成副本，分析检测器如何利用这些副本中的微妙差异进行判别。
技术框架：整体流程包括生成真实图像的合成副本、使用基础模型进行特征提取和评分、以及通过频率分析和潜在空间分析来揭示检测器的判别机制。
关键创新：最重要的创新在于揭示了检测器主要依赖于低中频特征而非高频特征进行判别，这与传统生成模型的特征提取方式有显著区别。
关键设计：在实验中，采用了DDIM反演的不同深度生成合成副本，并通过频率交换分析来评估检测器的判别能力，确保了实验的系统性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基础模型检测器在区分真实与扩散生成图像时，主要依赖于低中频特征，检测准确性显著提高。通过频率分析，揭示了检测器的判别机制，为未来的研究提供了新的方向。
🎯 应用场景
该研究为图像取证和AI生成内容的检测提供了新的视角，潜在应用于社交媒体内容审核、新闻真实性验证等领域。未来，研究结果可促进更具可解释性的取证方法的发展，提升对AI生成内容的识别能力。
📄 摘要（原文）
Vision foundation models have recently emerged as powerful feature extractors for detecting AI-generated images, achieving strong generalization across generators and robustness to common image degradations. However, the reason behind their effectiveness is poorly understood. In this work, we investigate what cues are exploited by foundation-model-based detectors to distinguish real images from diffusion-generated ones. To this end, we design an ad hoc analysis protocol based on DDIM inversion. Given a real image we generate a sequence of synthetic copies by changing the depth of DDIM inversion. Even though most copies are semantically identical to the real reference, the detector score varies significantly across them due to subtle traces introduced by the diffusion synthesis, showing that its decision is not primarily driven by semantic failures. Through a frequency-swapping analysis, we further reveal that the discriminative cues exploited by the detectors are mainly localized in the low-to-mid frequency range, rather than only in the high-frequency range, as is the case for artifacts commonly associated with generative models. Finally, a latent-space analysis shows that regenerated images exhibit reduced variance and effective dimensionality, indicating that diffusion models do not fully reproduce the variability of real data. Overall, our results suggest that foundation-model-based detectors succeed by capturing non-semantic low-to-mid frequency distributional discrepancies between real and diffusion-generated images. These findings provide new insight into the robustness and generalization of such detectors and suggest directions for more interpretable forensic methods.