Large Language Models in the Clinic: A Comprehensive Benchmark

📄 arXiv: 2405.00716v4 📥 PDF

作者: Fenglin Liu, Zheng Li, Hongjian Zhou, Qingyu Yin, Jingfeng Yang, Xianfeng Tang, Chen Luo, Ming Zeng, Haoming Jiang, Yifan Gao, Priyanka Nigam, Sreyashi Nag, Bing Yin, Yining Hua, Xuan Zhou, Omid Rohanian, Anshul Thakur, Lei Clifton, David A. Clifton

分类: cs.CL, cs.AI

发布日期: 2024-04-25 (更新: 2024-10-16)

备注: Accepted at EMNLP 2024 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

构建ClinicBench基准以评估临床中的大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床决策 开放式问答 数据集构建 模型评估 医疗应用

📋 核心要点

  1. 现有方法主要集中于封闭式问答，无法有效处理开放式临床决策问题。
  2. 本文提出ClinicBench基准，收集多种临床任务数据集，并构建新数据集以评估LLMs。
  3. 对22个LLMs进行广泛评估，结果显示在开放式决策和长文档处理上有显著提升。

📝 摘要（中文）

大型语言模型（LLMs）在临床辅助决策中的应用引起了广泛关注。现有研究主要集中在封闭式问答任务的评估上，而许多临床决策涉及开放式问题。为深入理解LLMs在临床中的应用，本文构建了ClinicBench基准，收集了涵盖多种临床语言生成、理解和推理任务的现有数据集，并构建了六个新数据集和临床任务，进行广泛的评估。最终，邀请医学专家评估LLMs的临床实用性，基准数据可在https://github.com/AI-in-Health/ClinicBench获取。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在临床应用中对开放式问题处理不足的问题。现有方法多依赖于封闭式问答，无法适应复杂的临床决策场景。

核心思路：通过构建ClinicBench基准，收集多样化的临床数据集，并设计新任务，以全面评估LLMs在真实临床环境中的表现。

技术框架：整体架构包括数据集收集、任务设计、模型评估三个主要阶段。首先整合现有数据集，然后构建新数据集，最后对22个LLMs进行零-shot和few-shot评估。

关键创新：最重要的创新在于引入开放式决策和长文档处理等新任务，填补了现有评估方法的空白，使得LLMs的临床应用评估更加全面。

关键设计：在数据集构建中，特别关注临床常见问题的复杂性，设计了适应性强的评估指标，确保评估结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在开放式决策和长文档处理任务中，22个LLMs的表现显著优于传统方法，尤其在复杂临床场景下，模型的准确性和实用性得到了医学专家的认可。具体性能数据和对比基线将在基准发布时提供。

🎯 应用场景

该研究的潜在应用领域包括临床决策支持系统、医疗文本生成和患者咨询等。通过提升LLMs在开放式问题处理上的能力，能够更好地辅助医生进行复杂的临床决策，进而提高医疗服务的质量和效率。未来，随着数据集和评估方法的不断完善，该基准有望推动LLMs在医疗领域的广泛应用。

📄 摘要（原文）

The adoption of large language models (LLMs) to assist clinicians has attracted remarkable attention. Existing works mainly adopt the close-ended question-answering (QA) task with answer options for evaluation. However, many clinical decisions involve answering open-ended questions without pre-set options. To better understand LLMs in the clinic, we construct a benchmark ClinicBench. We first collect eleven existing datasets covering diverse clinical language generation, understanding, and reasoning tasks. Furthermore, we construct six novel datasets and clinical tasks that are complex but common in real-world practice, e.g., open-ended decision-making, long document processing, and emerging drug analysis. We conduct an extensive evaluation of twenty-two LLMs under both zero-shot and few-shot settings. Finally, we invite medical experts to evaluate the clinical usefulness of LLMs. The benchmark data is available at https://github.com/AI-in-Health/ClinicBench.