Can social media provide early warning of retraction? Evidence from critical tweets identified by human annotation and large language models

📄 arXiv: 2403.16851v3 📥 PDF

作者: Er-Te Zheng, Hui-Zhen Fu, Mike Thelwall, Zhichao Fang

分类: cs.DL, cs.AI, cs.CL, cs.LG

发布日期: 2024-03-25 (更新: 2025-09-25)

备注: 27 pages, 5 figures

期刊: Journal of the Association for Information Science and Technology, 2025

DOI: 10.1002/asi.70028

💡 一句话要点

利用社交媒体与大语言模型检测研究撤回的早期信号

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交媒体 研究撤回 大语言模型 科研诚信 人机协作

📋 核心要点

  1. 核心问题：现有方法在及时检测研究撤回方面存在不足，社交媒体评论的潜力尚未被充分挖掘。
  2. 方法要点：本研究结合人工标注与大语言模型，分析社交媒体推文以识别潜在的研究撤回信号。
  3. 实验或效果：发现8.3%的撤回文章在撤回前有批评推文，显示社交媒体可作为早期警示信号。

📝 摘要（中文）

及时发现有问题的研究对于维护科学诚信至关重要。本研究分析了3815条提及604篇撤回文章的推文和3373条提及668篇可比非撤回文章的推文。通过人工标注和大语言模型（LLMs）识别出对文章持批评态度的推文。结果显示，8.3%的撤回文章在撤回前至少有一条批评推文，而非撤回文章仅为1.5%，突显了推文作为撤回早期警示信号的潜力。然而，LLMs识别的批评推文与人工标注结果部分一致，提示全自动监测需谨慎。人机协作的方法可能提供更可靠的替代方案，利用人类专业知识过滤与研究诚信无关的批评推文。整体而言，本研究为社交媒体信号与生成AI技术结合在加强研究诚信方面的应用提供了见解。

🔬 方法详解

问题定义：本研究旨在解决如何通过社交媒体评论及时检测可能撤回的研究文章。现有方法缺乏有效的监测机制，无法快速识别有问题的研究。

核心思路：论文提出结合人工标注与大语言模型的方式，分析社交媒体推文，以识别与研究撤回相关的批评信号。通过这种方法，可以更全面地捕捉公众对研究的反馈。

技术框架：研究首先收集与撤回和非撤回文章相关的推文，然后通过人工标注和LLMs进行批评推文的识别。最后，比较两者的识别结果，评估社交媒体作为撤回早期警示信号的有效性。

关键创新：最重要的创新在于将人类专家的判断与大语言模型的自动化能力结合，形成一种人机协作的监测机制。这种方法比单一依赖于自动化工具更为可靠。

关键设计：在推文分析中，采用了多种大语言模型（如GPT-4o mini、Gemini 2.0 Flash-Lite和Claude 3.5 Haiku），并通过人工标注确保数据的准确性和相关性。

📊 实验亮点

实验结果显示，8.3%的撤回文章在撤回前至少有一条批评推文，而非撤回文章仅为1.5%。这一发现表明，社交媒体推文可以作为研究撤回的早期警示信号，且人机协作方法在识别准确性上优于单一的自动化方法。

🎯 应用场景

该研究的潜在应用领域包括学术出版、科研诚信监测和社交媒体分析。通过及时识别有问题的研究文章，可以帮助学术界和公众更好地维护科学诚信，减少错误信息的传播。未来，结合社交媒体信号与AI技术的监测系统可能会成为科研管理的重要工具。

📄 摘要（原文）

Timely detection of problematic research is essential for safeguarding scientific integrity. To explore whether social media commentary can serve as an early indicator of potentially problematic articles, this study analysed 3,815 tweets referencing 604 retracted articles and 3,373 tweets referencing 668 comparable non-retracted articles. Tweets critical of the articles were identified through both human annotation and large language models (LLMs). Human annotation revealed that 8.3% of retracted articles were associated with at least one critical tweet prior to retraction, compared to only 1.5% of non-retracted articles, highlighting the potential of tweets as early warning signals of retraction. However, critical tweets identified by LLMs (GPT-4o mini, Gemini 2.0 Flash-Lite, and Claude 3.5 Haiku) only partially aligned with human annotation, suggesting that fully automated monitoring of post-publication discourse should be applied with caution. A human-AI collaborative approach may offer a more reliable and scalable alternative, with human expertise helping to filter out tweets critical of issues unrelated to the research integrity of the articles. Overall, this study provides insights into how social media signals, combined with generative AI technologies, may support efforts to strengthen research integrity.