Can Large Language Models Detect Rumors on Social Media?

📄 arXiv: 2402.03916v2 📥 PDF

作者: Qiang Liu, Xiang Tao, Junfei Wu, Shu Wu, Liang Wang

分类: cs.IR, cs.CL

发布日期: 2024-02-06 (更新: 2024-02-08)

💡 一句话要点

提出LeRuD以解决社交媒体谣言检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 谣言检测 大型语言模型 社交媒体 信息传播 机器学习

📋 核心要点

  1. 现有方法在处理社交媒体复杂传播信息时，LLMs难以聚焦于关键线索，推理能力受限。
  2. 论文提出的LeRuD方法通过设计提示和传播链，帮助LLMs更有效地识别谣言。
  3. 实验结果显示，LeRuD在Twitter和微博数据集上超越了多种先进模型，提升幅度达到7.7%。

📝 摘要（中文）

本研究探讨了利用大型语言模型（LLMs）进行社交媒体谣言检测的可行性。由于社交媒体传播信息复杂，LLMs在处理大量冗余信息时可能无法集中注意力于关键线索，导致推理困难。为此，我们提出了一种LLM增强的谣言检测方法（LeRuD），通过设计提示引导LLMs关注新闻和评论中的重要线索，并将传播信息分解为传播链，以减轻LLMs的负担。我们在Twitter和微博数据集上进行了广泛实验，LeRuD的表现超越了多种最先进的谣言检测模型，提升幅度在3.2%至7.7%之间。此外，LeRuD在应用LLMs的情况下，无需训练数据，展现了在少样本或零样本场景下更具前景的谣言检测能力。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在社交媒体谣言检测中的推理困难，现有方法在处理复杂传播信息时表现不佳，难以聚焦于重要线索。

核心思路：LeRuD通过设计特定的提示，引导LLMs关注新闻和评论中的关键线索，同时将传播信息分解为传播链，以减轻模型的推理负担。

技术框架：LeRuD的整体架构包括信息输入、提示设计、传播链构建和谣言判断四个主要模块。首先，输入社交媒体的传播信息，然后通过提示引导LLMs进行推理，最后根据传播链的分析结果进行谣言判断。

关键创新：LeRuD的创新点在于通过提示和传播链的结合，显著提升了LLMs在复杂信息环境中的推理能力，与传统方法相比，能够更有效地识别谣言。

关键设计：在设计中，LeRuD采用了特定的提示模板，优化了信息的输入格式，并通过实验验证了不同参数设置对模型性能的影响，确保了在少样本和零样本场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LeRuD在Twitter和微博数据集上的实验结果显示，其性能超越了多种最先进的谣言检测模型，提升幅度在3.2%至7.7%之间。此外，LeRuD在无需训练数据的情况下，展现出在少样本和零样本场景下的优越检测能力，显示出良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监控、信息验证和舆情分析等。通过提高谣言检测的准确性，LeRuD能够帮助社交平台和用户更好地识别和应对虚假信息，具有重要的社会价值和实际影响。未来，随着社交媒体信息量的不断增加，该方法有望在更广泛的场景中应用。

📄 摘要（原文）

In this work, we investigate to use Large Language Models (LLMs) for rumor detection on social media. However, it is challenging for LLMs to reason over the entire propagation information on social media, which contains news contents and numerous comments, due to LLMs may not concentrate on key clues in the complex propagation information, and have trouble in reasoning when facing massive and redundant information. Accordingly, we propose an LLM-empowered Rumor Detection (LeRuD) approach, in which we design prompts to teach LLMs to reason over important clues in news and comments, and divide the entire propagation information into a Chain-of-Propagation for reducing LLMs' burden. We conduct extensive experiments on the Twitter and Weibo datasets, and LeRuD outperforms several state-of-the-art rumor detection models by 3.2% to 7.7%. Meanwhile, by applying LLMs, LeRuD requires no data for training, and thus shows more promising rumor detection ability in few-shot or zero-shot scenarios.