Correcting misinformation on social media with a large language model

📄 arXiv: 2403.11169v5 📥 PDF

作者: Xinyi Zhou, Ashish Sharma, Amy X. Zhang, Tim Althoff

分类: cs.CL, cs.AI

发布日期: 2024-03-17 (更新: 2026-01-11)

备注: 52 pages

💡 一句话要点

提出MUSE以解决社交媒体上的错误信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 误信息纠正 大型语言模型 视觉-语言建模 网络检索 社交媒体 多模态处理 信息传播

📋 核心要点

  1. 现有方法在社交媒体上纠正误信息面临挑战，手动纠正难以扩展且效率低下。
  2. MUSE通过结合视觉-语言建模和网络检索，自动识别和解释社交媒体内容中的误导性信息。
  3. 实验结果显示，MUSE在多种社交媒体内容上表现优异，超越GPT-4 37%和用户响应29%。

📝 摘要（中文）

现实世界的信息常常是多模态的，可能因事实错误、过时的声明、缺乏上下文或误解而导致误导性信息的传播。尽管手动纠正被广泛接受，但难以扩展。本文提出MUSE，一个增强了视觉-语言建模和网络检索的大型语言模型，旨在识别和解释社交媒体内容中的误导性部分。研究表明，MUSE在多种社交媒体内容上表现出色，超越了GPT-4和高质量用户响应，提供了一种可扩展的误信息纠正方法论框架。

🔬 方法详解

问题定义：本文旨在解决社交媒体上误信息的识别与纠正问题。现有手动纠正方法难以扩展，且大型语言模型在处理过时信息和多模态内容时存在局限性。

核心思路：MUSE结合视觉-语言建模和网络检索，能够从可信来源获取信息，生成准确的响应，识别内容中的误导性部分并提供解释。这样的设计旨在提高信息纠正的效率和准确性。

技术框架：MUSE的整体架构包括三个主要模块：视觉-语言模型用于理解多模态内容，网络检索模块用于获取相关信息，生成模块则负责输出纠正后的内容。

关键创新：MUSE的主要创新在于其结合了视觉信息和网络检索能力，能够在多模态环境中有效识别和纠正误信息，显著提升了传统语言模型的性能。

关键设计：MUSE采用了特定的损失函数来优化识别和生成的准确性，并在网络结构上进行了调整，以增强其对多模态输入的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MUSE在多种社交媒体内容上表现出色，整体性能超越GPT-4 37%和高质量用户响应29%。这一成果展示了MUSE在处理未经过事实核查的内容时的强大能力。

🎯 应用场景

MUSE的研究成果在社交媒体、新闻传播和公共信息领域具有广泛的应用潜力。通过自动化的误信息纠正，能够提高信息传播的准确性，减少误导性内容的影响，促进更健康的信息生态环境。

📄 摘要（原文）

Real-world information, often multimodal, can be misinformed or potentially misleading due to factual errors, outdated claims, missing context, misinterpretation, and more. Such "misinformation" is understudied, challenging to address, and harms many social domains -- particularly on social media, where it can spread rapidly. Manual correction that identifies and explains its (in)accuracies is widely accepted but difficult to scale. While large language models (LLMs) can generate human-like language that could accelerate misinformation correction, they struggle with outdated information, hallucinations, and limited multimodal capabilities. We propose MUSE, an LLM augmented with vision-language modeling and web retrieval over relevant, credible sources to generate responses that determine whether and which part(s) of the given content can be misinformed or potentially misleading, and to explain why with grounded references. We further define a comprehensive set of rubrics to measure response quality, ranging from the accuracy of identifications and factuality of explanations to the relevance and credibility of references. Results show that MUSE consistently produces high-quality outputs across diverse social media content (e.g., modalities, domains, political leanings), including content that has not previously been fact-checked online. Overall, MUSE outperforms GPT-4 by 37% and even high-quality responses from social media users by 29%. Our work provides a general methodological and evaluative framework for correcting misinformation at scale.