Detection of Conspiracy Theories Beyond Keyword Bias in German-Language Telegram Using Large Language Models

📄 arXiv: 2404.17985v1 📥 PDF

作者: Milena Pustet, Elisabeth Steffen, Helena Mihaljević

分类: cs.CL, cs.AI, cs.SI

发布日期: 2024-04-27

备注: Accepted to the 8th Workshop on Online Abuse and Harms (WOAH), ACL 2024

期刊: in: 8th Workshop on Online Abuse and Harms (WOAH), ACL (2024)

DOI: 10.18653/v1/2024.woah-1.2

💡 一句话要点

提出基于大语言模型的德语阴谋论检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阴谋论检测 大语言模型 德语文本分析 监督学习 社交媒体监测

📋 核心要点

  1. 现有的阴谋论检测方法依赖于监督学习，创建训练数据困难且耗时，尤其是涉及有害内容时。
  2. 本文提出通过比较监督微调和提示方法，利用大语言模型进行德语阴谋论的自动检测，减少对训练数据的依赖。
  3. 实验结果显示，监督微调方法的正类F1分数约为0.8，GPT-4在零样本设置下也达到了相似的性能，展示了模型的有效性。

📝 摘要（中文）

在线阴谋论的自动检测通常依赖于监督学习。然而，创建相应的训练数据需要专业知识、时间和心理韧性，尤其是考虑到内容的潜在危害。此外，现有数据集主要为英语且多基于关键词，导致模型出现标记级偏差。本文针对德语Telegram消息中的阴谋论检测任务，比较了基于BERT的监督微调方法与使用Llama2、GPT-3.5和GPT-4的提示方法。我们使用了约4000条在COVID-19疫情期间收集的消息，未使用关键词过滤。研究结果表明，两种方法均能有效利用：监督微调方法的正类F1分数约为0.8，显示出与近期基于关键词的英语模型相当的性能。我们还展示了模型对领域内时间变化的适应性，F1分数约为0.7。在提示变体中，GPT-4在零样本设置下的正类F1分数也达到了约0.8。

🔬 方法详解

问题定义：本文旨在解决德语Telegram消息中阴谋论的自动检测问题。现有方法主要依赖于关键词，导致模型在处理非英语内容时表现不佳，且创建训练数据的过程复杂且耗时。

核心思路：论文提出通过比较基于BERT的监督微调和基于大语言模型的提示方法，来实现阴谋论的检测。这种设计旨在减少对大量标注数据的需求，同时提高模型的适应性和准确性。

技术框架：整体架构包括数据收集、模型选择（BERT和大语言模型）、训练与评估阶段。数据收集阶段使用了约4000条消息，模型选择阶段比较了不同的模型性能，最后通过F1分数评估模型效果。

关键创新：最重要的创新在于引入了大语言模型（如GPT-4）进行零样本学习，突破了传统关键词依赖的限制，提升了模型在特定领域的适应能力。

关键设计：在模型训练中，使用了自定义的阴谋论定义作为提示，优化了模型的输入格式，并在损失函数和参数设置上进行了细致调整，以确保模型在不同任务中的表现。

📊 实验亮点

实验结果显示，监督微调方法在正类F1分数上达到了约0.8，表现与基于关键词的英语模型相当。同时，GPT-4在零样本设置下的正类F1分数也达到了约0.8，展示了其强大的适应性和有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、信息验证和公共健康传播等。通过有效检测阴谋论，可以帮助相关机构及时识别和应对虚假信息，提升公众对信息的辨识能力，具有重要的社会价值和实际影响。未来，该方法还可扩展至其他语言和平台，进一步增强信息安全。

📄 摘要（原文）

The automated detection of conspiracy theories online typically relies on supervised learning. However, creating respective training data requires expertise, time and mental resilience, given the often harmful content. Moreover, available datasets are predominantly in English and often keyword-based, introducing a token-level bias into the models. Our work addresses the task of detecting conspiracy theories in German Telegram messages. We compare the performance of supervised fine-tuning approaches using BERT-like models with prompt-based approaches using Llama2, GPT-3.5, and GPT-4 which require little or no additional training data. We use a dataset of $\sim!! 4,000$ messages collected during the COVID-19 pandemic, without the use of keyword filters. Our findings demonstrate that both approaches can be leveraged effectively: For supervised fine-tuning, we report an F1 score of $\sim!! 0.8$ for the positive class, making our model comparable to recent models trained on keyword-focused English corpora. We demonstrate our model's adaptability to intra-domain temporal shifts, achieving F1 scores of $\sim!! 0.7$. Among prompting variants, the best model is GPT-4, achieving an F1 score of $\sim!! 0.8$ for the positive class in a zero-shot setting and equipped with a custom conspiracy theory definition.