Enhancing Large Language Models for Clinical Decision Support by Incorporating Clinical Practice Guidelines

📄 arXiv: 2401.11120v2 📥 PDF

作者: David Oniani, Xizhi Wu, Shyam Visweswaran, Sumit Kapoor, Shravan Kooragayalu, Katelyn Polanska, Yanshan Wang

分类: cs.CL, cs.AI

发布日期: 2024-01-20 (更新: 2024-01-23)

💡 一句话要点

提出三种方法将临床实践指南融入大型语言模型以提升临床决策支持

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床决策支持 临床实践指南 二元决策树 图构建 思维链提示 COVID-19 人工智能

📋 核心要点

  1. 现有方法在将临床实践指南有效融入大型语言模型中存在不足，导致临床决策支持的效果不理想。
  2. 论文提出了三种新方法：BDT、PAGC和CoT-FSP，旨在有效整合CPGs以提升LLMs的决策支持能力。
  3. 实验结果表明，所有LLMs在增强CPGs后性能显著提升，BDT在自动评估中表现最佳，显示出该方法的有效性。

📝 摘要（中文）

背景：增强的语言模型（LLMs）结合临床实践指南（CPGs）能够显著改善临床决策支持（CDS）。然而，将CPGs纳入LLMs的方法尚未得到充分研究。方法：我们开发了三种将CPGs融入LLMs的不同方法：二元决策树（BDT）、程序辅助图构建（PAGC）和思维链少量提示（CoT-FSP）。为了评估这些方法的有效性，我们创建了一组合成患者描述，并对四种LLMs（GPT-4、GPT-3.5 Turbo、LLaMA和PaLM 2）生成的响应进行了自动和人工评估。零样本提示（ZSP）作为基线方法。我们以COVID-19门诊治疗为案例研究。结果：所有四种LLMs在增强CPGs后表现出比基线ZSP更好的性能。BDT在自动评估中优于CoT-FSP和PAGC。所有提出的方法在人工评估中均表现出高性能。结论：与仅使用ZSP的普通LLMs相比，增强CPGs的LLMs在提供COVID-19门诊治疗的准确建议方面表现出更优越的性能，显示出更广泛应用的潜力。

🔬 方法详解

问题定义：本论文旨在解决如何有效将临床实践指南（CPGs）融入大型语言模型（LLMs）的问题。现有方法在整合CPGs时缺乏系统性，导致临床决策支持（CDS）效果不佳。

核心思路：论文提出三种方法，通过不同的技术手段将CPGs与LLMs结合，旨在提升模型在临床决策中的准确性和实用性。这些方法分别侧重于决策树结构、图构建和提示策略，以实现更好的信息整合。

技术框架：整体架构包括三个主要模块：1）二元决策树（BDT）用于结构化决策；2）程序辅助图构建（PAGC）用于信息可视化和关系建模；3）思维链少量提示（CoT-FSP）用于引导模型生成更符合临床实践的响应。

关键创新：最重要的技术创新在于提出了BDT方法，该方法在自动评估中表现优于其他两种方法，显示出其在决策支持中的独特优势。与现有方法相比，BDT能够更好地处理复杂的临床决策情境。

关键设计：在设计中，BDT采用了特定的决策节点和路径选择机制，PAGC则利用图神经网络构建临床信息网络，而CoT-FSP则通过少量示例引导模型思考，确保生成的响应更具临床相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有四种LLMs在增强CPGs后性能均显著提升，BDT在自动评估中表现最佳，超越了CoT-FSP和PAGC。具体而言，BDT方法在准确性和响应质量上均优于基线的零样本提示（ZSP），显示出提升幅度明显，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、临床决策支持系统和智能医疗助手等。通过将CPGs有效融入LLMs，能够为医生提供更准确的治疗建议，提高患者的治疗效果和满意度。此外，这一方法的成功应用可能推动其他领域的智能决策支持系统的发展。

📄 摘要（原文）

Background Large Language Models (LLMs), enhanced with Clinical Practice Guidelines (CPGs), can significantly improve Clinical Decision Support (CDS). However, methods for incorporating CPGs into LLMs are not well studied. Methods We develop three distinct methods for incorporating CPGs into LLMs: Binary Decision Tree (BDT), Program-Aided Graph Construction (PAGC), and Chain-of-Thought-Few-Shot Prompting (CoT-FSP). To evaluate the effectiveness of the proposed methods, we create a set of synthetic patient descriptions and conduct both automatic and human evaluation of the responses generated by four LLMs: GPT-4, GPT-3.5 Turbo, LLaMA, and PaLM 2. Zero-Shot Prompting (ZSP) was used as the baseline method. We focus on CDS for COVID-19 outpatient treatment as the case study. Results All four LLMs exhibit improved performance when enhanced with CPGs compared to the baseline ZSP. BDT outperformed both CoT-FSP and PAGC in automatic evaluation. All of the proposed methods demonstrated high performance in human evaluation. Conclusion LLMs enhanced with CPGs demonstrate superior performance, as compared to plain LLMs with ZSP, in providing accurate recommendations for COVID-19 outpatient treatment, which also highlights the potential for broader applications beyond the case study.