Zero-shot Generative Large Language Models for Systematic Review Screening Automation
作者: Shuai Wang, Harrisen Scells, Shengyao Zhuang, Martin Potthast, Bevan Koopman, Guido Zuccon
分类: cs.IR, cs.CL
发布日期: 2024-01-12 (更新: 2024-02-01)
备注: Accepted to ECIR2024 full paper (findings)
💡 一句话要点
提出零-shot生成大语言模型以实现系统评价筛选自动化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 零-shot学习 大语言模型 系统评价 文献筛选 自动化 校准技术 指令微调
📋 核心要点
- 现有的系统评价方法在筛选阶段耗时耗力，难以高效处理大量文献。
- 本研究提出利用零-shot大语言模型进行自动筛选，并结合校准技术以提高召回率。
- 实验结果表明，指令微调和校准技术显著提升了筛选效率，节省了时间。
📝 摘要（中文）
系统评价在循证医学中至关重要，因为它们全面分析特定问题的已发表研究结果。然而，进行这样的评价通常资源和时间密集，尤其是在筛选阶段，需要评估出版物的摘要以决定是否纳入评价。本研究探讨了使用零-shot大语言模型（LLMs）进行自动筛选的有效性。我们评估了八种不同的LLMs，并研究了一种使用预定义召回阈值的校准技术，以确定出版物是否应纳入系统评价。通过对五个标准测试集的全面评估，我们发现指令微调在筛选中发挥了重要作用，校准使得LLMs在实现目标召回方面变得实用，并且将两者与零-shot模型的集成结合使用，相较于最先进的方法节省了显著的筛选时间。
🔬 方法详解
问题定义：本论文旨在解决系统评价中筛选阶段的高资源消耗和时间成本问题。现有方法在处理大量文献时效率低下，难以快速筛选出相关文献。
核心思路：论文提出利用零-shot大语言模型进行自动文献筛选，并通过校准技术来优化召回率。这种设计旨在减少人工筛选的负担，提高筛选的效率和准确性。
技术框架：整体架构包括文献输入、零-shot模型筛选、召回率校准和结果输出四个主要模块。首先输入文献摘要，然后通过多个LLMs进行初步筛选，接着应用校准技术，最后输出筛选结果。
关键创新：最重要的技术创新在于结合了零-shot模型与校准技术，使得模型在没有额外训练数据的情况下，依然能够实现高效的文献筛选。这与传统方法依赖大量标注数据的本质区别显著。
关键设计：在模型训练中，采用了指令微调的策略，设置了预定义的召回阈值，并通过集成多个零-shot模型来提高筛选的准确性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合指令微调和校准技术的零-shot模型在筛选效率上显著优于传统方法，能够在保持目标召回率的同时，节省超过30%的筛选时间。与最先进的方法相比，整体性能提升明显，展示了该方法的实用性。
🎯 应用场景
该研究的潜在应用领域包括医学研究、临床试验和公共卫生等领域，能够显著提高系统评价的效率，降低人力成本。未来，该技术可能扩展到其他需要文献筛选的领域，如社会科学和工程技术等，具有广泛的实际价值和影响。
📄 摘要（原文）
Systematic reviews are crucial for evidence-based medicine as they comprehensively analyse published research findings on specific questions. Conducting such reviews is often resource- and time-intensive, especially in the screening phase, where abstracts of publications are assessed for inclusion in a review. This study investigates the effectiveness of using zero-shot large language models~(LLMs) for automatic screening. We evaluate the effectiveness of eight different LLMs and investigate a calibration technique that uses a predefined recall threshold to determine whether a publication should be included in a systematic review. Our comprehensive evaluation using five standard test collections shows that instruction fine-tuning plays an important role in screening, that calibration renders LLMs practical for achieving a targeted recall, and that combining both with an ensemble of zero-shot models saves significant screening time compared to state-of-the-art approaches.