Can Vision-Language Models Reason about AI Edits in Images?

📄 arXiv: 2607.28464v1 📥 PDF

作者: Darsha Udayanga, Pin-Yu Chen, Payel Das, Qiang Ji

分类: cs.CV

发布日期: 2026-07-30

💡 一句话要点

提出基于强化学习的VLM框架以检测AI篡改图像

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像篡改检测 视觉-语言模型 强化学习 群体相对策略优化 像素级定位 AI生成内容 图像处理

📋 核心要点

  1. 现有的图像篡改检测方法多依赖于传统的二元分类器，缺乏可解释性和泛化能力，难以应对现代生成模型的挑战。
  2. 本文提出了一种基于强化学习的视觉-语言模型训练框架，利用群体相对策略优化（GRPO）来引导模型推理AI生成的图像编辑。
  3. 实验结果显示，该方法在多个数据集上实现了与最先进检测器相当的性能，且所需的监督程度显著降低。

📝 摘要（中文）

检测和定位AI篡改的图像对于建立可信的AI至关重要，但现代生成模型使得此类操控的识别变得愈加困难。传统的二元分类器虽然能够检测图像篡改，但缺乏可解释性和泛化能力。本文探讨了视觉-语言模型（VLM）是否能够通过强化学习（RL）进行训练，以推理AI生成的图像编辑，而不是依赖于显式的推理监督。我们提出了一种基于群体相对策略优化（GRPO）的训练框架，利用简单的准确性和格式奖励。实验结果表明，该方法在多个图像操控数据集上实现了与最先进的图像伪造检测器相当的检测和定位性能，且所需的监督显著较弱。

🔬 方法详解

问题定义：本文旨在解决AI篡改图像的检测和定位问题，现有方法主要依赖于传统的二元分类器，缺乏可解释性和泛化能力，难以适应现代生成模型带来的挑战。

核心思路：论文的核心思路是通过强化学习训练视觉-语言模型，使其能够推理AI生成的图像编辑，而不是依赖于传统的显式推理监督。通过引入群体相对策略优化（GRPO），模型能够在给出最终答案之前生成思考轨迹，从而提高推理能力。

技术框架：整体架构包括输入图像的处理、生成结构化推理轨迹、预测图像是否被篡改，以及利用推理输出指导轻量级分割模型生成像素级定位掩码。

关键创新：最重要的技术创新在于采用强化学习而非显式监督来训练VLM，使其能够有效推理AI生成的内容，显著提升了模型的推理能力和适应性。

关键设计：在训练过程中，使用简单的准确性和格式奖励作为强化学习的反馈信号，确保模型在推理过程中能够生成有效的思考轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在多个图像操控数据集上实现了与最先进的图像伪造检测器相当的检测和定位性能，尽管所需的监督显著较弱。具体而言，使用的有效交并比（eff-IoU）指标在检测和定位任务中表现出色，验证了强化学习在VLM推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括数字内容的真实性验证、社交媒体平台的内容审核以及法律证据的鉴定等。通过提高对AI篡改图像的检测能力，可以增强公众对AI技术的信任，促进其在各个行业的安全应用。

📄 摘要（原文）

Detection and localization of AI-tampered images are critical for trustworthy AI, yet modern generative models have made such manipulations increasingly difficult to identify. While traditional binary classifiers can detect image tampering, they lack interpretability and generalization. Vision-Language Models (VLMs) offer a promising alternative due to their strong visual understanding and reasoning capabilities; however, existing approaches typically rely on supervised finetuning with curated explanations rather than exploiting their inherent reasoning capabilities. In this work, we investigate whether VLMs can be trained to reason about AI-generated image edits using reinforcement learning (RL) rather than explicit reasoning supervision. Motivated by the success in Group Relative Policy Optimization (GRPO), an RL technique that incentivizes the model to reason by generating thinking traces prior to giving the final answer, we propose a GRPO-based training framework that utilizes simple accuracy and format rewards. Given an input image, the model produces a structured reasoning trace and predicts whether the image has been tampered with. A lightweight segmentation model is then guided by the reasoning output to generate pixel-level localization masks. Experiments across multiple image manipulation datasets demonstrate that our approach achieves competitive detection and localization performance compared to state-of-the-art image forgery detectors, despite requiring substantially weaker supervision. We introduce effective intersection over union (eff-IoU), a unified metric to jointly evaluate detection and localization. These results suggest that reinforcement learning provides an effective and scalable mechanism for teaching VLMs to reason about AI-generated content.