From Detection to Localization: A Unified Forensics Framework for Fully Synthetic and Tampered Images

📄 arXiv: 2609.02640v1 📥 PDF

作者: Annalisa Gallina, Marco Fiorucci, Marco Brigo, Federica Battisti, Lamberto Ballan

分类: cs.CV

发布日期: 2026-09-02

备注: Accepted at the DFF Workshop, ACM Multimedia 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出统一框架以解决图像真实性检测与定位问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像操控检测 多类分类 像素级定位 深度学习 多媒体取证

📋 核心要点

  1. 现有方法通常将图像操控检测简化为二分类任务，难以有效区分和定位不同类型的操控。
  2. 本文提出了一个统一的多类框架，不仅进行真实性分类，还实现了篡改区域的像素级定位。
  3. 实验结果表明，该方法在分类准确性和IoU得分上均优于选定的最新基准，显示出显著的性能提升。

📝 摘要（中文）

随着生成模型的快速发展，图像操控检测问题愈发严重，因为这些方法能够生成高度逼真的伪造图像，进一步强调了多媒体取证的重要性。传统方法通常将图像操控检测视为二分类任务（真实与生成），这限制了对不同操控形式的区分和定位能力。为了解决这些限制，本文扩展了现有检测器，提出了一个统一的多类框架（真实、完全生成、篡改）。该框架除了对图像真实性进行分类外，还引入了分割分支，以实现对篡改区域的像素级定位。所提方法在选定的最新基准测试中表现优越，提供了一种高效的解决方案，具有更高的分类准确性和更高的IoU得分。

🔬 方法详解

问题定义：本文旨在解决图像操控检测中对不同操控形式的区分与定位问题。现有方法多为二分类，无法有效识别和定位篡改区域，限制了其应用场景。

核心思路：提出一个统一的多类框架，能够同时进行真实性分类和篡改区域的像素级定位。通过引入分割分支，增强了对篡改区域的识别能力。

技术框架：整体架构包括一个主分类网络和一个分割分支。主网络负责对图像进行真实性分类，而分割分支则用于精确定位篡改区域。

关键创新：最重要的创新在于将图像真实性检测与篡改区域定位结合在一个统一框架中，突破了传统二分类方法的局限性。

关键设计：在网络结构上，采用了深度卷积神经网络，并设计了适应多类分类的损失函数，以优化分类和定位任务的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在分类准确性上提升了XX%，在IoU得分上也显著高于基线方法，证明了其在图像操控检测与定位任务中的有效性和优越性。

🎯 应用场景

该研究在多媒体取证、数字内容验证以及社交媒体平台的图像真实性检测等领域具有广泛的应用潜力。通过提高对篡改图像的检测和定位能力，可以有效打击虚假信息传播，维护信息的真实性与可信度。

📄 摘要（原文）

The rapid advancement of generative models has significantly worsened the problem of manipulated image detection, as these methods are capable of producing highly realistic forgeries, reinforcing the importance of multimedia forensics. Conventional approaches typically frame image manipulation detection as a binary classification task (real vs. generated), which limits the capability to distinguish and localize different forms of manipulation. To address these constraints, this work extends an existing detector by introducing a unified multiclass framework (real vs. fully generated vs. tampered). In addition to classifying image authenticity, the framework incorporates a segmentation branch to enable pixel-level localization of tampered regions. The proposed approach outperforms selected recent benchmarks, offering an efficient solution with improved classification accuracy and higher IoU scores for the localization task. Find the code at https://github.com/anngal01/From-Detection-to-Localization-A-Unified-Forensics-Framework-for-Fully-Synthetic-and-Tampered-Images.