MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models

📄 arXiv: 2403.03744v5 📥 PDF

作者: Tessa Han, Aounon Kumar, Chirag Agarwal, Himabindu Lakkaraju

分类: cs.AI

发布日期: 2024-03-06 (更新: 2024-10-09)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MedSafetyBench以评估和提升大型语言模型的医疗安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗安全 基准数据集 医学伦理 模型微调 评估标准 人工智能医疗

📋 核心要点

  1. 核心问题：现有的医疗LLMs缺乏医疗安全性的评估标准，导致其在实际应用中可能存在安全隐患。
  2. 方法要点：本文提出MedSafetyBench基准数据集，旨在系统评估和提升LLMs的医疗安全性。
  3. 实验或效果：实验结果显示，经过MedSafetyBench微调的LLMs在医疗安全性上有显著提升，同时保持了其医疗性能。

📝 摘要（中文）

随着大型语言模型（LLMs）在医疗领域的应用日益广泛，评估其医疗安全性变得至关重要。然而，目前对LLMs医疗安全性的理解几乎为零。为此，本文首先基于美国医学协会的医学伦理原则定义了LLMs的医疗安全性，并引入了MedSafetyBench，这是第一个旨在衡量LLMs医疗安全性的基准数据集。通过使用MedSafetyBench进行评估和改进，结果表明，现有的公共医疗LLMs未能达到医疗安全标准，但经过微调后，其医疗安全性得到了提升，同时保持了医疗性能。该研究为系统研究LLMs的医疗安全性奠定了基础，并激励未来在这一领域的研究。

🔬 方法详解

问题定义：本文要解决的具体问题是如何评估和提升大型语言模型在医疗领域的安全性。现有方法缺乏对LLMs医疗安全性的系统性理解和评估标准，导致其在实际应用中可能存在风险。

核心思路：论文的核心解决思路是基于医学伦理原则定义医疗安全性，并通过引入MedSafetyBench基准数据集来进行评估和改进。这样的设计旨在填补当前研究中的空白，提供一个可操作的评估框架。

技术框架：整体架构包括定义医疗安全性、构建MedSafetyBench数据集、使用该数据集对LLMs进行评估和微调。主要模块包括数据集构建、模型评估和模型微调。

关键创新：最重要的技术创新点是首次提出了针对LLMs的医疗安全性评估基准数据集MedSafetyBench，填补了该领域的研究空白，与现有方法的本质区别在于其系统性和针对性。

关键设计：在数据集构建中，采用了基于医学伦理原则的标准，确保数据集的有效性和可靠性。微调过程中，使用了特定的损失函数以优化模型的医疗安全性，同时保持其医疗性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过MedSafetyBench微调的公共医疗LLMs在医疗安全性方面显著提升，具体性能数据未提供，但研究表明其安全性达到了更高的标准，同时保持了原有的医疗性能。

🎯 应用场景

该研究的潜在应用领域包括医疗咨询、临床决策支持和患者教育等。通过提高LLMs的医疗安全性，可以有效降低医疗风险，提升患者的信任度和满意度，具有重要的实际价值和社会影响。

📄 摘要（原文）

As large language models (LLMs) develop increasingly sophisticated capabilities and find applications in medical settings, it becomes important to assess their medical safety due to their far-reaching implications for personal and public health, patient safety, and human rights. However, there is little to no understanding of the notion of medical safety in the context of LLMs, let alone how to evaluate and improve it. To address this gap, we first define the notion of medical safety in LLMs based on the Principles of Medical Ethics set forth by the American Medical Association. We then leverage this understanding to introduce MedSafetyBench, the first benchmark dataset designed to measure the medical safety of LLMs. We demonstrate the utility of MedSafetyBench by using it to evaluate and improve the medical safety of LLMs. Our results show that publicly-available medical LLMs do not meet standards of medical safety and that fine-tuning them using MedSafetyBench improves their medical safety while preserving their medical performance. By introducing this new benchmark dataset, our work enables a systematic study of the state of medical safety in LLMs and motivates future work in this area, paving the way to mitigate the safety risks of LLMs in medicine. The benchmark dataset and code are available at https://github.com/AI4LIFE-GROUP/med-safety-bench.