Automated title and abstract screening for scoping reviews using the GPT-4 Large Language Model

📄 arXiv: 2311.07918v1 📥 PDF

作者: David Wilkins

分类: cs.CL

发布日期: 2023-11-14

备注: 12 pages, 4 figures

💡 一句话要点

提出GPTscreenR以自动化文献筛选过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文献综述 自动化筛选 大型语言模型 GPT-4 链式思维 R语言 学术研究

📋 核心要点

  1. 现有文献综述方法依赖大量人力进行文献筛选，效率低下且容易产生偏差。
  2. GPTscreenR利用GPT-4 LLM和链式思维技术，自动化文献筛选过程，提高筛选效率。
  3. 在验证实验中，GPTscreenR的整体准确率达到84%，显示出与人类审稿人相似的性能。

📝 摘要（中文）

本论文介绍了GPTscreenR，这是一个基于R语言的包，利用GPT-4大型语言模型（LLM）自动筛选文献，以支持文献综述的工作。文献综述通常需要大量人力来筛选相关文献，而GPTscreenR通过链式思维技术来提高复杂筛选任务的性能。在与人类审稿人共识决策的验证中，GPTscreenR的灵敏度为71%，特异性为89%，整体准确率为84%。尽管未达到完美准确性或人类观察者间的一致性水平，GPTscreenR展示了LLM在学术工作中的潜力，并提供了一个用户友好的软件框架，可与现有的审查流程集成。

🔬 方法详解

问题定义：本论文旨在解决文献综述中人工筛选文献的高成本和低效率问题。现有方法往往依赖人类审稿人进行大量文献的筛选，容易受到主观因素的影响，且效率低下。

核心思路：论文提出的GPTscreenR包利用GPT-4大型语言模型，通过链式思维技术来自动化文献筛选过程。该方法旨在提高复杂筛选任务的性能，减少人力投入。

技术框架：GPTscreenR的整体架构包括数据输入模块、模型处理模块和结果输出模块。输入模块接收文献数据，模型处理模块利用GPT-4进行筛选，最后输出筛选结果。

关键创新：GPTscreenR的主要创新在于将大型语言模型应用于文献筛选任务，并结合链式思维技术，显著提升了筛选的准确性和效率。这与传统的人工筛选方法形成了鲜明对比。

关键设计：在技术细节上，GPTscreenR设置了特定的参数以优化模型性能，采用了适合文献筛选的损失函数，并设计了适合文本处理的网络结构，以确保模型能够有效理解和筛选文献内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GPTscreenR的灵敏度达到71%，特异性为89%，整体准确率为84%。这些结果表明，GPTscreenR在文献筛选任务中表现出色，能够与传统的零-shot技术相媲美，尽管尚未达到完美的准确性。

🎯 应用场景

该研究的潜在应用领域包括医学、社会科学和人文学科等需要进行文献综述的学术研究。GPTscreenR能够显著提高文献筛选的效率，减少研究人员的工作负担，未来可能在学术界广泛推广，促进高效的知识获取与整合。

📄 摘要（原文）

Scoping reviews, a type of literature review, require intensive human effort to screen large numbers of scholarly sources for their relevance to the review objectives. This manuscript introduces GPTscreenR, a package for the R statistical programming language that uses the GPT-4 Large Language Model (LLM) to automatically screen sources. The package makes use of the chain-of-thought technique with the goal of maximising performance on complex screening tasks. In validation against consensus human reviewer decisions, GPTscreenR performed similarly to an alternative zero-shot technique, with a sensitivity of 71%, specificity of 89%, and overall accuracy of 84%. Neither method achieved perfect accuracy nor human levels of intraobserver agreement. GPTscreenR demonstrates the potential for LLMs to support scholarly work and provides a user-friendly software framework that can be integrated into existing review processes.