Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
作者: Maram Hasanain, Fatema Ahmed, Firoj Alam
分类: cs.CL
发布日期: 2024-02-27
备注: Accepted as a full paper at LREC-COLING 2024
💡 一句话要点
提出ArPro数据集以解决多语言宣传检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 宣传检测 多语言处理 数据集构建 GPT-4 文本分析 机器学习 自然语言处理
📋 核心要点
- 现有的宣传检测方法主要集中在英语内容，缺乏对中低资源语言的支持，导致数据集小且分布不均。
- 论文提出了ArPro数据集，包含8000个段落，并首次评估GPT-4在细粒度宣传检测中的表现。
- 实验结果显示，GPT-4在细粒度任务中的性能显著低于针对特定数据集微调的模型，且在多语言检测中表现不佳。
📝 摘要（中文）
宣传在主流和社交媒体上的使用激增，旨在操控或误导用户。尽管自动检测文本、视觉或多模态内容中的宣传技术的努力有所增加，但大多数研究主要集中在英语内容上。针对中低资源语言的最新倡议产生的标注数据集相对较小且分布不均，给宣传检测模型的发展带来了挑战。为此，我们开发了迄今为止最大的宣传数据集ArPro，包含来自报纸文章的8000个段落，按照23种宣传技术的分类进行文本跨度级别的标注。此外，我们首次尝试使用GPT-4理解大型语言模型在细粒度宣传检测中的表现。结果表明，随着任务从简单的段落分类转向细粒度的宣传技术检测，GPT-4的性能下降。与针对不同分类粒度进行微调的模型相比，GPT-4仍然落后。最后，我们在包含六种其他语言的数据集上评估了GPT-4的跨度检测，结果表明该模型在跨语言任务中表现不佳。我们的数据集和资源将向社区发布。
🔬 方法详解
问题定义：本论文旨在解决现有宣传检测方法在多语言环境中的不足，尤其是中低资源语言的缺乏标注数据和模型性能不足的问题。
核心思路：通过构建一个大规模的标注数据集ArPro，论文希望为宣传检测提供更丰富的训练数据，并评估大型语言模型在此任务中的有效性。
技术框架：整体架构包括数据集的构建、标注过程以及使用GPT-4进行宣传技术检测的实验。数据集包含8000个段落，标注遵循23种宣传技术的分类。
关键创新：最重要的创新在于构建了一个涵盖多种语言的宣传检测数据集，并首次将GPT-4应用于细粒度的宣传技术检测，揭示了其在此任务中的局限性。
关键设计：在数据集构建中，采用了文本跨度级别的标注方式，确保了对不同宣传技术的细致识别。同时，实验中对GPT-4的评估包括了多种语言的跨度检测，揭示了其跨语言性能的不足。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-4在简单的段落分类任务中表现良好，但在细粒度的宣传技术检测中性能显著下降，且在多语言检测中普遍存在困难。与针对特定数据集微调的模型相比，GPT-4的性能仍有较大差距，显示出其在该领域的局限性。
🎯 应用场景
该研究的潜在应用领域包括新闻媒体监测、社交媒体内容分析以及信息传播的真实性验证。通过提供一个大规模的宣传检测数据集，研究将促进多语言环境下的自动化宣传检测技术的发展，提升信息传播的透明度和可靠性。
📄 摘要（原文）
The use of propaganda has spiked on mainstream and social media, aiming to manipulate or mislead users. While efforts to automatically detect propaganda techniques in textual, visual, or multimodal content have increased, most of them primarily focus on English content. The majority of the recent initiatives targeting medium to low-resource languages produced relatively small annotated datasets, with a skewed distribution, posing challenges for the development of sophisticated propaganda detection models. To address this challenge, we carefully develop the largest propaganda dataset to date, ArPro, comprised of 8K paragraphs from newspaper articles, labeled at the text span level following a taxonomy of 23 propagandistic techniques. Furthermore, our work offers the first attempt to understand the performance of large language models (LLMs), using GPT-4, for fine-grained propaganda detection from text. Results showed that GPT-4's performance degrades as the task moves from simply classifying a paragraph as propagandistic or not, to the fine-grained task of detecting propaganda techniques and their manifestation in text. Compared to models fine-tuned on the dataset for propaganda detection at different classification granularities, GPT-4 is still far behind. Finally, we evaluate GPT-4 on a dataset consisting of six other languages for span detection, and results suggest that the model struggles with the task across languages. Our dataset and resources will be released to the community.