Large Language Models for Propaganda Span Annotation
作者: Maram Hasanain, Fatema Ahmad, Firoj Alam
分类: cs.CL
发布日期: 2023-11-16 (更新: 2024-10-06)
备注: propaganda, span detection, disinformation, misinformation, fake news, LLMs, GPT-4
💡 一句话要点
利用大型语言模型进行宣传跨度标注以提升内容理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 宣传检测 文本标注 阿拉伯语 自动化标注 机器学习 数据集构建
📋 核心要点
- 现有的自动化宣传检测系统在低资源语言上受到大规模训练数据集缺乏的限制，导致检测效果不佳。
- 本研究提出利用大型语言模型（如GPT-4）进行宣传跨度的提取和标注，以提高标注的效率和准确性。
- 实验结果显示，GPT-4在提供更多上下文信息时，其标注效果优于人类标注者，并且与专家标注者的标签一致性更高。
📝 摘要（中文）
近年来，在线内容中宣传技术的使用有所增加，旨在操控在线受众。细粒度的宣传检测和文本跨度提取对于更为知情的内容消费至关重要。由于缺乏大规模训练数据集，针对低资源语言的自动化系统受到限制。本研究探讨了大型语言模型（如GPT-4）在有效提取宣传跨度方面的能力，并研究了利用该模型收集更具成本效益的标注的潜力。实验结果表明，提供更多标注上下文给GPT-4能够提升其性能，并且作为专家标注者时，该模型提供的标签与专家标注者的高度一致，进而训练出在未见阿拉伯语测试集上达到最先进水平的专门模型。我们的工作首次展示了利用大型语言模型开发宣传跨度检测任务的标注数据集的潜力。
🔬 方法详解
问题定义：本研究旨在解决在线内容中宣传技术的自动检测与标注问题。现有方法在低资源语言上缺乏有效的训练数据，导致宣传检测的准确性不足。
核心思路：本研究的核心思路是利用大型语言模型（如GPT-4）来提取和标注宣传跨度，通过提供上下文信息来提升模型的标注能力。
技术框架：整体架构包括数据收集、模型训练和标注生成三个主要模块。首先，构建一个大规模的手动标注数据集，然后使用GPT-4进行标注生成，最后评估标注的有效性。
关键创新：本研究的创新点在于首次展示了大型语言模型在宣传跨度检测任务中的应用潜力，尤其是在标注效率和准确性方面的提升。与现有方法相比，GPT-4作为标注者的表现显著优于传统人类标注者。
关键设计：在实验中，GPT-4的输入提示设计为提供更多上下文信息，以提高标注的准确性。此外，模型的训练过程中采用了特定的损失函数和参数设置，以优化其在宣传检测任务上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-4在提供更多上下文信息的情况下，其标注准确性显著提高，与人类标注者的标签一致性更高。特别是在未见的阿拉伯语测试集上，基于GPT-4生成的模型达到了最先进的性能，显示出该方法的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容监测、新闻报道分析以及在线广告审查等。通过提高宣传内容的检测能力，能够帮助用户更好地理解和识别潜在的操控信息，从而提升信息消费的质量和安全性。未来，该技术还可能扩展到其他语言和文化背景下的宣传检测任务。
📄 摘要（原文）
The use of propagandistic techniques in online content has increased in recent years aiming to manipulate online audiences. Fine-grained propaganda detection and extraction of textual spans where propaganda techniques are used, are essential for more informed content consumption. Automatic systems targeting the task over lower resourced languages are limited, usually obstructed by lack of large scale training datasets. Our study investigates whether Large Language Models (LLMs), such as GPT-4, can effectively extract propagandistic spans. We further study the potential of employing the model to collect more cost-effective annotations. Finally, we examine the effectiveness of labels provided by GPT-4 in training smaller language models for the task. The experiments are performed over a large-scale in-house manually annotated dataset. The results suggest that providing more annotation context to GPT-4 within prompts improves its performance compared to human annotators. Moreover, when serving as an expert annotator (consolidator), the model provides labels that have higher agreement with expert annotators, and lead to specialized models that achieve state-of-the-art over an unseen Arabic testing set. Finally, our work is the first to show the potential of utilizing LLMs to develop annotated datasets for propagandistic spans detection task prompting it with annotations from human annotators with limited expertise. All scripts and annotations will be shared with the community.