Understanding LLMs in Title-Abstract Screening: From Disagreements to Recommendations

📄 arXiv: 2606.17588v1 📥 PDF

作者: Mika Mäntylä, Patricia Matsubara, Katia Romero Felizardo, Miikka Kuutila, Marco Gerosa, Savio de Sousa Sampaio, Tayana Conte, Igor Steinmacher

分类: cs.SE, cs.AI

发布日期: 2026-06-16

备注: 14 pages + references. Accepted for publication in the 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2026)

💡 一句话要点

提出定性分析以提升LLM在标题-摘要筛选中的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 系统评价 标题-摘要筛选 定性分析 文献综述 可靠性 改进建议

📋 核心要点

  1. 现有研究在LLMs与人类专家的标题-摘要筛选中存在准确性不一致的问题，且对可靠性缺乏深入探讨。
  2. 本研究通过定性分析人类与LLMs之间的分歧，识别出导致失误的具体原因，并提出改进建议。
  3. 实验结果显示，LLMs与人类专家的Kappa值在0.52到0.77之间，表明存在显著的分歧和改进空间。

📝 摘要（中文）

多项研究探讨了大型语言模型（LLMs）在系统评价（SRs）中的标题-摘要筛选应用，结果显示准确性不一，但可靠性问题尚未得到充分解决。本研究超越了定量的LLM与人类一致性指标，定性分析了LLMs失误的原因，并提出可行的改进建议。通过分析六个软件工程SRs及超过1000篇主要研究论文中的人类与LLMs之间的分歧，发现分歧源于关键术语的边界模糊、关键词的过度强调及主题推断错误等可识别的原因。基于这些发现，提出了在部署前验证语义理解、运行多个LLMs及关注边界案例的验证工作等建议。未来需要进一步研究以验证这些建议的影响，并呼吁社区共同制定LLMs在SRs中的使用规范。

🔬 方法详解

问题定义：本研究旨在解决LLMs在系统评价标题-摘要筛选中的可靠性问题。现有方法在准确性和一致性上存在不足，尤其是在处理边界模糊的术语时。

核心思路：通过定性分析人类与LLMs之间的分歧，识别失误原因，进而提出针对性的改进建议，以提高LLMs的可靠性和准确性。

技术框架：研究分析了六个软件工程SRs，涉及超过1000篇论文。人类专家与LLMs在零-shot模式下独立筛选论文，结果通过Kappa值进行评估。

关键创新：本研究的创新在于定性分析人类与LLMs的分歧，识别出导致失误的可重复原因，超越了传统的定量一致性指标。

关键设计：在实验中，采用了Kappa值作为一致性评估指标，并关注了边界案例的验证，提出了在部署前验证语义理解和运行多个LLMs的建议。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，LLMs与人类专家的Kappa值在0.52到0.77之间，表明存在显著的分歧。定性分析揭示了导致分歧的具体原因，为后续改进提供了依据。提出的建议如验证语义理解和运行多个LLMs，具有实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括系统评价、文献筛选及信息检索等。通过提高LLMs在标题-摘要筛选中的可靠性，可以显著提升文献综述的效率和准确性，进而推动相关领域的研究进展。未来，随着社区规范的建立，LLMs的应用将更加广泛。

📄 摘要（原文）

Several studies have examined the use of large language models (LLMs) for title-abstract screening in systematic reviews (SRs), reporting mixed accuracy. However, questions of reliability remain largely unaddressed. In this study, we go beyond quantitative LLM-human agreement metrics and qualitatively investigate how and why LLMs fail. We also propose actionable recommendations. We analyzed disagreements between LLMs and researchers across six software engineering SRs and over 1,000 primary study papers. For each SR, papers were screened independently by human experts and LLMs in zero-shot mode, resulting in Kappa values ranging from 0.52 to 0.77. Qualitative analysis suggests that human-LLM disagreement results from recurring, identifiable causes, such as boundary ambiguity in key terms, keyword overemphasization, and incorrect topic inference. Based on these findings, we propose recommendations such as validating semantic understanding before deployment, running multiple LLMs, and focusing validation efforts on borderline cases. Future studies are needed to validate the impact of our recommendations, and community efforts are needed to develop normative guidelines on LLM usage in SRs.