Development and Testing of a Novel Large Language Model-Based Clinical Decision Support Systems for Medication Safety in 12 Clinical Specialties

📄 arXiv: 2402.01741v2 📥 PDF

作者: Jasmine Chiat Ling Ong, Liyuan Jin, Kabilan Elangovan, Gilbert Yong San Lim, Daniel Yan Zheng Lim, Gerald Gui Ren Sng, Yuhe Ke, Joshua Yi Min Tung, Ryan Jian Zhong, Christopher Ming Yao Koh, Keane Zhi Hao Lee, Xiang Chen, Jack Kian Chng, Aung Than, Ken Junyang Goh, Daniel Shu Wei Ting

分类: cs.CL, cs.AI

发布日期: 2024-01-29 (更新: 2024-02-17)

💡 一句话要点

提出基于RAG的大语言模型以提升临床用药安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床决策支持 大语言模型 药物安全 检索增强生成 药物相关问题 医疗人工智能 药剂师协作

📋 核心要点

  1. 现有的临床决策支持系统在识别药物相关问题时存在准确性不足的挑战，尤其是在复杂的临床场景中。
  2. 本研究提出了一种基于RAG的大语言模型框架，结合最新的医疗相关LLM，以提升药物处方的安全性和准确性。
  3. 实验结果显示，RAG-LLM在与初级药剂师协作时，准确率、召回率和F1分数均有所优化，特别是在识别严重药物相关问题方面表现优异。

📝 摘要（中文）

本研究介绍了一种新颖的基于检索增强生成（RAG）的大语言模型（LLM）框架，作为临床决策支持系统（CDSS），旨在支持安全的药物处方。研究评估了LLM基础的CDSS在不同患者案例中正确识别用药错误的有效性，并与人类专家小组的标准进行比较。研究结果表明，RAG-LLM在与初级药剂师协作时显著提高了药物相关问题（DRPs）的识别准确性，尤其在检测中度至重度DRPs方面表现突出。

🔬 方法详解

问题定义：本研究旨在解决现有临床决策支持系统在药物处方中识别药物相关问题的准确性不足，尤其是在复杂的临床场景中，传统方法难以有效应对多样化的用药错误。

核心思路：研究提出了一种基于检索增强生成（RAG）的大语言模型框架，利用先进的医疗相关LLM（如GPT-4、Gemini Pro 1.0和Med-PaLM 2），以提升药物错误识别的准确性和效率。

技术框架：整体架构包括数据输入、RAG模型处理、药物错误识别和结果输出四个主要模块。通过将61个处方错误场景嵌入23个复杂临床案例中，系统能够在多学科背景下进行有效评估。

关键创新：本研究的主要创新在于结合RAG模型与大语言模型，显著提升了药物相关问题的识别能力，尤其是在与初级药剂师协作的情况下，优化了识别的准确性和召回率。

关键设计：在模型设计中，采用了多种先进的LLM，并通过PCNE分类法评估药物相关问题的严重性，使用修订版NCC MERP药物错误指数进行潜在危害的分级。

📊 实验亮点

实验结果表明，RAG-LLM在与初级药剂师协作时，准确率、召回率和F1分数均显著提升，尤其在识别中度至重度药物相关问题方面表现突出，准确率提高了XX%，召回率和F1分数也有明显改善，显示出该系统的有效性。

🎯 应用场景

该研究的潜在应用领域包括医院药房、临床诊所及其他医疗机构，能够为药剂师和医生提供有效的决策支持，降低用药错误的风险，提升患者安全性。未来，该系统有望在更广泛的医疗场景中推广应用，促进智能医疗的发展。

📄 摘要（原文）

Importance: We introduce a novel Retrieval Augmented Generation (RAG)-Large Language Model (LLM) framework as a Clinical Decision Support Systems (CDSS) to support safe medication prescription. Objective: To evaluate the efficacy of LLM-based CDSS in correctly identifying medication errors in different patient case vignettes from diverse medical and surgical sub-disciplines, against a human expert panel derived ground truth. We compared performance for under 2 different CDSS practical healthcare integration modalities: LLM-based CDSS alone (fully autonomous mode) vs junior pharmacist + LLM-based CDSS (co-pilot, assistive mode). Design, Setting, and Participants: Utilizing a RAG model with state-of-the-art medically-related LLMs (GPT-4, Gemini Pro 1.0 and Med-PaLM 2), this study used 61 prescribing error scenarios embedded into 23 complex clinical vignettes across 12 different medical and surgical specialties. A multidisciplinary expert panel assessed these cases for Drug-Related Problems (DRPs) using the PCNE classification and graded severity / potential for harm using revised NCC MERP medication error index. We compared. Results RAG-LLM performed better compared to LLM alone. When employed in a co-pilot mode, accuracy, recall, and F1 scores were optimized, indicating effectiveness in identifying moderate to severe DRPs. The accuracy of DRP detection with RAG-LLM improved in several categories but at the expense of lower precision. Conclusions This study established that a RAG-LLM based CDSS significantly boosts the accuracy of medication error identification when used alongside junior pharmacists (co-pilot), with notable improvements in detecting severe DRPs. This study also illuminates the comparative performance of current state-of-the-art LLMs in RAG-based CDSS systems.