TruEye: Fine-Grained Detection of AI-Generated Human Subjects in Images
作者: Jay Barot, Dan Lin
分类: cs.CV
发布日期: 2026-06-25
备注: 18 Pages, 3 figures
💡 一句话要点
提出TruEye以解决AI生成图像检测的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI生成图像 图像检测 深度学习 变换器 社交工程 内容审核 网络安全
📋 核心要点
- 现有的AI生成图像检测方法存在过拟合、二元分类不透明以及依赖昂贵模型等问题。
- TruEye通过掩码条件双流变换器，细粒度区分五种合成内容，提升了检测的准确性和可解释性。
- 在六个数据集和FineSyn数据集上的实验结果显示，TruEye在准确性和推理速度上均优于现有方法。
📝 摘要（中文）
随着AI生成图像在互联网上的广泛传播，部分图像被用于娱乐，而另一些则被用于社交工程攻击和欺诈。现有检测器往往过拟合于训练时见过的生成器，且将检测视为不透明的二元分类，或依赖昂贵的大型语言模型（LLM）来解释其输出。本文提出TruEye，一个新颖的模型，能够细粒度检测和定位AI操控或生成的人物和场景。TruEye首次区分五种合成内容的组成类别，尤其是在真实人类与真实场景合成的最具挑战性案例中。其核心是一个掩码条件的双流变换器，能够分离人类和场景标记，同时保持补丁级空间对应关系。通过在每个流和区域门控交叉注意力中进行专门推理，TruEye确保了主体与背景之间的语义一致性，同时实现了强大的可解释性预测，且无需调用LLM。实验表明，TruEye在六个数据集及新创建的FineSyn数据集上超越了现有最先进的检测器，具有更高的准确性、更快的推理速度和更强的泛化能力。
🔬 方法详解
问题定义：本文旨在解决AI生成图像的检测与定位问题。现有方法往往过于依赖特定生成器，导致泛化能力不足，且通常将检测结果简化为二元分类，缺乏解释性。
核心思路：TruEye的核心思路是通过掩码条件双流变换器，分别处理人类和场景的标记，保持空间对应关系，从而实现更细粒度的检测和分类。
技术框架：TruEye的整体架构包括两个主要模块：人类流和场景流。每个流内进行专门的推理，区域门控交叉注意力机制确保了语义一致性。最后，通过全局组成分类实现最终的检测结果。
关键创新：TruEye的最大创新在于其能够区分五种合成内容类别，尤其是在真实人类与真实场景合成的情况下，提供了更高的检测精度和可解释性。与现有方法相比，TruEye不依赖于大型语言模型，显著提高了运行速度。
关键设计：TruEye采用了掩码条件双流变换器结构，设计了区域门控交叉注意力机制，并通过标记级监督和全局组成分类来增强模型的鲁棒性和解释性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TruEye在六个数据集及FineSyn数据集上的检测准确率显著高于现有最先进的检测器，推理速度提升超过100倍，展现出强大的泛化能力和效率。
🎯 应用场景
TruEye的研究成果在社交媒体安全、在线内容审核和虚假信息检测等领域具有广泛的应用潜力。通过有效识别和定位AI生成的图像，能够帮助平台和用户识别潜在的欺诈和操控行为，提升网络安全性。未来，TruEye的技术也可能扩展到其他视觉识别任务中。
📄 摘要（原文）
AI generated images are proliferating across the Internet. While some are used for entertainment, others are weaponized for fraud and social engineering attacks on social media users. Existing detectors overfit to generators seen during training, treat detection as opaque binary classification, or rely on costly Large Language Models (LLMs) to explain their outputs. In this paper, we present TruEye, a novel model for fine grained detection and localization of AI manipulated or AI generated humans and scenes. Unlike conventional detectors that assign a single authenticity label, TruEye is the first to distinguish among five compositional categories of synthetic content, including the most challenging case in which a real human is composited into a real scene where they were never physically present. At its core is a mask conditioned dual stream transformer that separates human and scene tokens while preserving patch level spatial correspondence. Specialized reasoning within each stream and region gated cross attention enforce semantic coherence between subject and background, while token level supervision and global compositional classification yield robust, interpretable predictions without invoking an LLM. By restricting intra stream attention to semantically coherent tokens, TruEye also runs over $100\times$ faster than LLM based competitors. Experiments on 6 datasets and our newly curated FineSyn dataset, show that TruEye surpasses state of the art detectors with higher accuracy, faster inference, and stronger generalization to unseen AI generated or manipulated images.