Characteristics and prevalence of fake social media profiles with AI-generated faces
作者: Kai-Cheng Yang, Danishjeet Singh, Filippo Menczer
分类: cs.CY, cs.AI, cs.SI
发布日期: 2024-01-05 (更新: 2024-07-04)
备注: 18 pages, 6 figures; added a new dataset and made some minor revisions
期刊: Journal of Online Trust and Safety (2024)
💡 一句话要点
提出一种方法识别AI生成面孔的虚假社交媒体账户
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚假账户识别 生成对抗网络 社交媒体安全 人工智能 数据分析
📋 核心要点
- 现有方法缺乏对使用AI生成面孔的虚假社交媒体账户的系统性分析，导致对其影响的认识不足。
- 论文提出了一种结合GAN生成面孔特征与人工标注的方法，以有效识别虚假社交媒体账户。
- 通过对随机样本的分析，估计使用GAN生成面孔的账户普遍率在0.021%到0.044%之间，揭示了潜在的安全威胁。
📝 摘要（中文）
随着生成性人工智能（AI）的进步，创建可信的虚假社交媒体账户的潜力引发了关注，但缺乏实证证据。本文系统分析了使用生成对抗网络（GAN）生成的人脸作为头像的Twitter（X）账户，构建了1,420个此类账户的数据集，发现它们被用于传播诈骗、垃圾信息和放大协调消息等不真实活动。通过利用GAN生成面孔的一项特征——一致的眼睛位置，并结合人工标注，提出了一种有效的方法来识别真实环境中的GAN生成账户。对活跃Twitter用户的随机样本应用该方法，估计使用GAN生成面孔的账户的最低普遍率在0.021%到0.044%之间，约为每日活跃账户10K个。这些发现强调了多模态生成AI所带来的新兴威胁。我们发布了检测方法的源代码和收集的数据，以促进进一步研究，并提供实用的启发式方法帮助社交媒体用户识别此类账户。
🔬 方法详解
问题定义：本文旨在解决如何识别使用AI生成面孔的虚假社交媒体账户的问题。现有方法在识别这些账户时存在准确性不足和缺乏系统性分析的痛点。
核心思路：论文的核心思路是利用GAN生成面孔的一致性特征（如眼睛位置）结合人工标注，构建有效的识别模型，以提高识别的准确性和效率。
技术框架：整体架构包括数据收集、特征提取、模型训练和验证几个主要模块。首先收集含有GAN生成面孔的社交媒体账户数据，然后提取特征并训练分类模型，最后在真实环境中进行验证。
关键创新：最重要的技术创新点在于结合了GAN生成面孔的特征与人工标注，形成了一种新的识别方法。这与现有方法的本质区别在于，现有方法往往依赖于传统的图像识别技术，缺乏针对GAN生成内容的专门设计。
关键设计：在技术细节上，论文设计了特定的损失函数以优化模型性能，并选择了适合的网络结构以提高特征提取的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在识别GAN生成面孔的虚假账户方面表现出色，估计的普遍率在0.021%到0.044%之间，约为每日活跃账户10K个。这一发现突显了多模态生成AI带来的新兴威胁，并为社交媒体安全提供了重要的实证依据。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台的安全监测、虚假信息传播的防范以及用户教育。通过提供有效的识别工具，社交媒体用户能够更好地识别和应对虚假账户，从而提升平台的整体安全性和用户体验。未来，该方法还可扩展至其他社交媒体平台，进一步增强网络安全防护能力。
📄 摘要（原文）
Recent advancements in generative artificial intelligence (AI) have raised concerns about their potential to create convincing fake social media accounts, but empirical evidence is lacking. In this paper, we present a systematic analysis of Twitter (X) accounts using human faces generated by Generative Adversarial Networks (GANs) for their profile pictures. We present a dataset of 1,420 such accounts and show that they are used to spread scams, spam, and amplify coordinated messages, among other inauthentic activities. Leveraging a feature of GAN-generated faces -- consistent eye placement -- and supplementing it with human annotation, we devise an effective method for identifying GAN-generated profiles in the wild. Applying this method to a random sample of active Twitter users, we estimate a lower bound for the prevalence of profiles using GAN-generated faces between 0.021% and 0.044% -- around 10K daily active accounts. These findings underscore the emerging threats posed by multimodal generative AI. We release the source code of our detection method and the data we collect to facilitate further investigation. Additionally, we provide practical heuristics to assist social media users in recognizing such accounts.