AiGen-FoodReview: A Multimodal Dataset of Machine-Generated Restaurant Reviews and Images on Social Media
作者: Alessandro Gambetti, Qiwei Han
分类: cs.LG, cs.CL, cs.CV
发布日期: 2024-01-16
💡 一句话要点
提出AiGen-FoodReview数据集以解决餐厅评论的真实性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态数据集 假评论检测 用户生成内容 机器学习 自然语言处理 计算机视觉 特征提取
📋 核心要点
- 核心问题：现有的用户生成内容（UGC）面临着人工和机器生成假内容的挑战，影响其可靠性。
- 方法要点：本研究构建了一个多模态数据集AiGen-FoodReview，并探索了基于可读性和摄影理论的特征用于假评论检测。
- 实验或效果：使用FLAVA模型实现了99.80%的多模态准确率，展示了手工特征在检测模型中的有效性。
📝 摘要（中文）
在线评论作为用户生成内容（UGC）对消费者决策有显著影响。然而，人工和机器生成内容的泛滥使UGC的可靠性受到挑战。利用OpenAI的GPT-4-Turbo和DALL-E-2模型，我们构建了AiGen-FoodReview，这是一个包含20,144对餐厅评论和图像的多模态数据集，分为真实和机器生成两类。我们探索了单模态和多模态检测模型，使用FLAVA模型实现了99.80%的多模态准确率。通过可读性和摄影理论的属性对评论和图像进行评分，展示了这些手工特征在可扩展和可解释的检测模型中的实用性。论文通过开源数据集和发布假评论检测器，推荐其在单模态和多模态假评论检测任务中的应用，并评估合成与真实数据中的语言和视觉特征。
🔬 方法详解
问题定义：本论文旨在解决在线餐厅评论中假内容的检测问题，现有方法在识别机器生成内容方面存在不足，导致UGC的可信度下降。
核心思路：通过构建一个包含真实和机器生成评论及图像的数据集，利用先进的生成模型（如GPT-4-Turbo和DALL-E-2）来提高假评论的检测能力。
技术框架：整体架构包括数据集构建、特征提取和检测模型训练三个主要阶段。数据集由20,144对评论和图像组成，特征提取基于可读性和摄影理论，检测模型则使用FLAVA等多模态模型进行训练和评估。
关键创新：最重要的技术创新在于结合了语言和视觉特征的多模态检测方法，显著提高了假评论的识别准确率，与传统的单模态方法相比，具有更好的性能和可解释性。
关键设计：在模型训练中，使用了特定的损失函数来优化多模态特征的融合，同时调整了网络结构以适应不同类型的输入数据，确保了模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用FLAVA模型在多模态假评论检测中达到了99.80%的准确率，显著优于传统的单模态检测方法。这一成果表明，结合语言和视觉特征的检测策略在识别机器生成内容方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括在线餐饮平台、社交媒体评论监测及电子商务等。通过提高假评论的检测能力，能够有效提升消费者的决策质量，增强平台的信誉度，未来可能对UGC的管理和监管产生深远影响。
📄 摘要（原文）
Online reviews in the form of user-generated content (UGC) significantly impact consumer decision-making. However, the pervasive issue of not only human fake content but also machine-generated content challenges UGC's reliability. Recent advances in Large Language Models (LLMs) may pave the way to fabricate indistinguishable fake generated content at a much lower cost. Leveraging OpenAI's GPT-4-Turbo and DALL-E-2 models, we craft AiGen-FoodReview, a multi-modal dataset of 20,144 restaurant review-image pairs divided into authentic and machine-generated. We explore unimodal and multimodal detection models, achieving 99.80% multimodal accuracy with FLAVA. We use attributes from readability and photographic theories to score reviews and images, respectively, demonstrating their utility as hand-crafted features in scalable and interpretable detection models, with comparable performance. The paper contributes by open-sourcing the dataset and releasing fake review detectors, recommending its use in unimodal and multimodal fake review detection tasks, and evaluating linguistic and visual features in synthetic versus authentic data.