Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions

📄 arXiv: 2402.18060v6 📥 PDF

作者: Hanjie Chen, Zhouxiang Fang, Yash Singla, Mark Dredze

分类: cs.CL

发布日期: 2024-02-28 (更新: 2026-02-18)

备注: NAACL 2025

🔗 代码/项目: GITHUB

💡 一句话要点

构建新数据集以提升大语言模型在医学问答中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学问答 大语言模型 数据集构建 临床决策 可解释性 模型评估 人工智能

📋 核心要点

  1. 现有的医学问答模型在真实临床案例的复杂性上存在不足，无法全面评估模型的推理能力。
  2. 本文提出了两个新数据集，JAMA Clinical Challenge和Medbullets，以提供更具挑战性的医学问答任务，并附有专家解释。
  3. 实验结果显示，所构建的数据集难度高于以往基准，且对模型生成的解释进行了深入评估，揭示了LLMs的潜力与不足。

📝 摘要（中文）

大语言模型（LLMs）在回答医学问题方面表现出色，甚至在医学执照考试中取得了及格分数。然而，现有的医学考试或临床问题未能充分反映真实临床案例的复杂性。此外，缺乏参考解释使得评估模型决策的推理过程变得困难。为了解决这些挑战，本文构建了两个新数据集：JAMA Clinical Challenge和Medbullets，前者基于复杂临床案例，后者则包含模拟临床问题。两个数据集均为多项选择问答任务，并附有专家撰写的解释。通过对七个LLMs的评估，实验结果表明这些数据集的难度高于以往基准，并通过自动和人工评估提供了对LLMs在可解释医学问答中的潜力与不足的深入见解。

🔬 方法详解

问题定义：本文旨在解决现有医学问答模型在真实临床案例复杂性评估中的不足，尤其是缺乏参考解释的问题。

核心思路：通过构建两个新数据集，JAMA Clinical Challenge和Medbullets，提供更具挑战性的多项选择问答任务，并附上专家撰写的解释，以便更好地评估模型的推理能力。

技术框架：整体架构包括数据集构建、模型评估和解释分析三个主要模块。数据集构建阶段涉及临床案例的选择和问题设计，模型评估阶段则使用多种提示对七个LLMs进行测试，最后通过自动和人工评估分析模型生成的解释。

关键创新：本文的主要创新在于构建了两个具有挑战性的新数据集，并提供了专家解释，填补了现有医学问答研究中的空白，特别是在模型推理能力的评估方面。

关键设计：数据集中的问题设计为多项选择形式，确保问题的复杂性和临床相关性。模型评估过程中采用了多种提示策略，以全面测试模型的表现，并通过定量和定性分析相结合的方式，深入探讨模型生成的解释质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，构建的JAMA Clinical Challenge和Medbullets数据集的难度显著高于以往基准，评估的七个LLMs在这些数据集上的表现揭示了其在医学问答中的潜力与不足。具体而言，模型生成的解释在准确性和可理解性上存在明显差异，为未来的研究提供了重要的改进方向。

🎯 应用场景

该研究的潜在应用领域包括医学教育、临床决策支持系统和医疗人工智能助手。通过提供更具挑战性的问答任务和专家解释，能够帮助医生在复杂情况下做出更明智的决策，提升医疗服务的质量与效率。未来，该研究可能推动医学领域对大语言模型的进一步应用与发展。

📄 摘要（原文）

LLMs have demonstrated impressive performance in answering medical questions, such as achieving passing scores on medical licensing examinations. However, medical board exams or general clinical questions do not capture the complexity of realistic clinical cases. Moreover, the lack of reference explanations means we cannot easily evaluate the reasoning of model decisions, a crucial component of supporting doctors in making complex medical decisions. To address these challenges, we construct two new datasets: JAMA Clinical Challenge and Medbullets. Datasets and code are available at https://github.com/HanjieChen/ChallengeClinicalQA. JAMA Clinical Challenge consists of questions based on challenging clinical cases, while Medbullets comprises simulated clinical questions. Both datasets are structured as multiple-choice question-answering tasks, accompanied by expert-written explanations. We evaluate seven LLMs on the two datasets using various prompts. Experiments demonstrate that our datasets are harder than previous benchmarks. In-depth automatic and human evaluations of model-generated explanations provide insights into the promise and deficiency of LLMs for explainable medical QA.