Evidence-Guided Detection, Localization and Explanation for Text-Centric Image Forensics
作者: Peifeng Liu, Bin Li, Qingsong Zhang, Yangxin Yu, Leqing Chen, Xiaoye Qiu
分类: cs.CV
发布日期: 2026-09-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出证据引导的检测、定位与解释系统以解决文本中心图像取证问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 图像取证 文本中心图像 证据引导 检测与定位 多模态推理 篡改检测 结构化报告 深度学习
📋 核心要点
- 现有方法在处理文本中心图像篡改时，缺乏有效的空间定位和证据解释能力，难以满足实际取证需求。
- 论文提出的证据引导检测-定位-推理系统，通过级联的证据流实现了图像真实性检测、篡改区域定位和基于证据的报告生成。
- 在官方隐藏测试集上，系统取得了0.638的得分，排名第二，展示了该方法在图像取证中的有效性和优势。
📝 摘要（中文）
随着生成式人工智能内容（AIGC）的快速发展，文本中心图像的篡改变得愈加普遍，带来了新的取证挑战。这篇论文提出了一种证据引导的检测-定位-推理系统，旨在不仅检测图像的真实性，还能进行空间定位和基于证据的解释。该系统通过级联的证据流连接各个模块，最终生成结构化的取证报告。实验结果表明，该系统在挑战赛中取得了0.638的最终得分，排名第二，验证了其有效性。
🔬 方法详解
问题定义：论文要解决的问题是如何有效检测和定位文本中心图像中的篡改，同时提供基于证据的解释。现有方法往往无法同时满足真实性检测和空间定位的需求，导致取证效果不佳。
核心思路：论文的核心思路是构建一个证据引导的检测-定位-推理系统，通过不同模块的协同工作，实现从图像检测到报告生成的全流程。这样的设计可以确保每个模块都能利用前一个模块提供的证据，提高整体的取证效果。
技术框架：整体架构包括三个主要模块：图像级检测器、专用定位器和基于多模态大语言模型（MLLM）的推理器。检测器提供全局真实性先验，定位器提取篡改区域作为空间证据，推理器生成基于证据的结构化报告。模块之间通过级联的证据流连接，确保信息的有效传递。
关键创新：最重要的技术创新在于引入了迭代难度感知挖掘，以提高定位质量，并应用报告-掩膜一致性后处理，确保报告的基础与预测的掩膜对齐。这些创新使得系统在处理复杂篡改时表现更佳。
关键设计：在系统设计中，采用了特定的损失函数来优化各模块的性能，确保检测器的输出能够有效引导定位器的工作。此外，推理器的训练过程中，结合了来自检测器和定位器的决策信息，以增强报告的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
在ACM Multimedia 2026的GenText-Forensics Challenge中，提出的证据引导系统在官方隐藏测试集上取得了0.638的得分，排名第二，验证了其在文本中心图像取证中的有效性。该系统的设计和实验结果显示出显著的性能提升，尤其是在复杂篡改场景下的表现。
🎯 应用场景
该研究的潜在应用领域包括数字取证、社交媒体内容审核以及新闻真实性验证等。随着图像篡改技术的不断进步，能够快速、准确地识别和解释篡改内容将对维护信息的真实性和可靠性产生重要影响。未来，该系统有望在更广泛的场景中应用，提升公众对数字内容的信任度。
📄 摘要（原文）
The rapid progress of AIGC has made text-centric image manipulation increasingly accessible, creating new forensic challenges that require not only authenticity detection but also spatial grounding and evidence-based explanation. This paper presents our solution to the GenText-Forensics Challenge at ACM Multimedia 2026. We propose an evidence-guided detector-localizer-reasoner system, where an image-level detector provides a global authenticity prior, a dedicated localizer extracts tampered regions as spatial grounding evidence, and an MLLM-based reasoner generates structured forensic reports grounded in this expert forensic evidence. These modules are connected through a cascaded evidence flow: the detector gates the subsequent localization and prompting process, the localizer converts tamper responses into grounding boxes, and the reasoner is trained to synthesize the detector decision and localized evidence into the final report. As a key part of our method, we introduce iterative difficulty-aware mining to improve localization quality and apply report-mask consistency post-processing to align report grounding with predicted masks. On the official hidden test set, our system achieves a final score of 0.638 and ranks second in the challenge, validating the effectiveness of the proposed evidence-guided system. The code is available at https://github.com/peifengLiu42/ACMMM26-evidence-guided-detector-localizer-reasoner-system.