Rumour Evaluation with Very Large Language Models

📄 arXiv: 2404.16859v1 📥 PDF

作者: Dahlia Shehata, Robin Cohen, Charles Clarke

分类: cs.CL, cs.SI

发布日期: 2024-04-11

💡 一句话要点

利用大型语言模型评估谣言以应对数字虚假信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 谣言评估 虚假信息检测 真相预测 立场分类 社交媒体 提示工程

📋 核心要点

  1. 数字虚假信息的传播问题日益严重，现有方法在处理社交媒体谣言时面临挑战。
  2. 本研究提出利用大型语言模型的提示工程技术，针对谣言的真相预测和立场分类进行改进。
  3. 实验结果显示，真相预测的性能显著提升，立场分类与现有方法相当，未见微调方法的优势。

📝 摘要（中文）

基于对话提示工程的大型语言模型（LLMs）使得输出创作的控制更加精准，增强了其多样性、适应性和临时检索能力。然而，数字虚假信息的传播已达到令人担忧的程度。社交媒体的匿名性、可用性和广泛性为谣言的传播提供了肥沃的土壤。本研究提出利用依赖提示的LLMs来对抗虚假信息，扩展RumourEval任务在Twitter数据集上的研究工作。我们采用两种基于提示的LLM变体（GPT-3.5-turbo和GPT-4）来扩展RumourEval的两个子任务：真相预测和立场分类。在真相预测中，我们对每个GPT变体进行了三种分类方案的实验，结果显著优于之前的研究。在立场分类中，基于提示的方法表现与之前结果相当，但未能超越微调方法。我们还将谣言立场子任务扩展到多类分类，并为所有生成的预测提供了置信度评分，以确定其可信度，并提供后验解释以增强可解释性。

🔬 方法详解

问题定义：本研究旨在解决社交媒体上谣言传播带来的虚假信息问题，现有方法在准确性和可解释性方面存在不足。

核心思路：通过利用大型语言模型（如GPT-3.5-turbo和GPT-4）进行提示工程，增强对谣言的真相预测和立场分类能力，旨在提高对虚假信息的识别和应对能力。

技术框架：整体架构包括两个主要模块：真相预测和立场分类。每个模块采用不同的提示策略，并在零样本、单样本和少样本设置下进行测试。

关键创新：本研究的创新点在于将大型语言模型应用于谣言评估任务，并通过多种分类方案显著提升了真相预测的准确性，同时扩展了立场分类的多类分类能力。

关键设计：在实验中，针对真相预测采用三种分类方案，分别测试不同的样本设置；立场分类则通过提示方法与微调方法进行比较，所有预测结果均附带置信度评分以增强可解释性。

📊 实验亮点

实验结果显示，在真相预测任务中，所提出的方法显著超越了之前的基线，提升幅度达到未知。在立场分类任务中，基于提示的方法表现与现有微调方法相当，未见显著提升，显示出提示工程的潜力与局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监控、虚假信息检测和公共安全等。通过提高谣言识别的准确性，能够有效减少虚假信息对社会的负面影响，促进信息的真实传播，具有重要的社会价值和实际意义。

📄 摘要（原文）

Conversational prompt-engineering-based large language models (LLMs) have enabled targeted control over the output creation, enhancing versatility, adaptability and adhoc retrieval. From another perspective, digital misinformation has reached alarming levels. The anonymity, availability and reach of social media offer fertile ground for rumours to propagate. This work proposes to leverage the advancement of prompting-dependent LLMs to combat misinformation by extending the research efforts of the RumourEval task on its Twitter dataset. To the end, we employ two prompting-based LLM variants (GPT-3.5-turbo and GPT-4) to extend the two RumourEval subtasks: (1) veracity prediction, and (2) stance classification. For veracity prediction, three classifications schemes are experimented per GPT variant. Each scheme is tested in zero-, one- and few-shot settings. Our best results outperform the precedent ones by a substantial margin. For stance classification, prompting-based-approaches show comparable performance to prior results, with no improvement over finetuning methods. Rumour stance subtask is also extended beyond the original setting to allow multiclass classification. All of the generated predictions for both subtasks are equipped with confidence scores determining their trustworthiness degree according to the LLM, and post-hoc justifications for explainability and interpretability purposes. Our primary aim is AI for social good.