SoftTiger: A Clinical Foundation Model for Healthcare Workflows

📄 arXiv: 2403.00868v3 📥 PDF

作者: Ye Chen, Igor Couto, Wei Cai, Cong Fu, Bruno Dorneles

分类: cs.CL, cs.AI

发布日期: 2024-03-01 (更新: 2024-08-20)

备注: Accepted to AAAI 2024 Spring Symposium on Clinical Foundation Models, Stanford University, Stanford, California

💡 一句话要点

提出SoftTiger以解决临床笔记结构化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床语言模型 医疗智能化 信息提取 结构化数据 超长上下文

📋 核心要点

  1. 临床笔记的非结构化特性使得医疗智能化面临重大挑战，现有方法难以有效提取和结构化信息。
  2. SoftTiger通过将临床笔记结构化为符合国际标准的临床数据，解决了这一关键问题，并支持多种临床任务。
  3. 实验结果表明，SoftTiger在性能上超越了其他开源模型和GPT-3.5，与Gemini-pro相当，接近GPT-4。

📝 摘要（中文）

我们介绍了SoftTiger，一种为医疗工作流程设计的临床大型语言模型（CLaM）。临床笔记的叙述性和非结构化特性是医疗智能化的主要障碍。我们针对国际互操作性标准，将临床笔记结构化为临床数据。我们收集并注释了国际患者摘要、临床印象和医疗接触三个子任务的数据。随后，我们使用公共和认证的临床数据对最先进的LLM进行了监督微调。训练过程设计使得目标模型能够首先支持基本的临床任务，如缩写扩展和时间信息提取，然后学习执行更复杂的下游临床任务。此外，我们解决了医疗背景下的多个建模挑战，例如超长上下文窗口。我们的盲对比评估显示，SoftTiger在性能上优于其他流行的开源模型和GPT-3.5，与Gemini-pro相当，与GPT-4存在轻微差距。我们相信，LLM可能成为医疗数字化和民主化的一个重要步骤。因此，我们公开发布了13亿和70亿参数规模的SoftTiger模型，以及数据集和代码，期望为医疗行业做出重要贡献。

🔬 方法详解

问题定义：本论文旨在解决临床笔记的非结构化问题，现有方法在信息提取和结构化方面存在显著不足，难以满足医疗智能化的需求。

核心思路：论文提出的核心思路是构建SoftTiger模型，将临床笔记转化为结构化的临床数据，支持多种临床任务的执行。通过监督微调，模型能够逐步学习从基础到复杂的任务。

技术框架：SoftTiger的整体架构包括数据收集与注释、模型训练和评估三个主要阶段。首先，收集国际患者摘要、临床印象和医疗接触的数据；其次，使用这些数据对LLM进行监督微调；最后，通过盲对比评估模型性能。

关键创新：SoftTiger的主要创新在于其针对医疗领域的特定建模挑战，如超长上下文窗口的处理，显著提升了信息提取的准确性和效率。

关键设计：在模型设计中，采用了适应性损失函数和优化的网络结构，以支持复杂的临床任务，并确保模型在处理长文本时的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SoftTiger在盲对比评估中超越了其他流行的开源模型和GPT-3.5，性能与Gemini-pro相当，距离GPT-4仅有轻微差距，展示了其在医疗文本处理中的强大能力。

🎯 应用场景

SoftTiger模型在医疗领域的潜在应用广泛，包括临床数据的自动化处理、患者信息的结构化提取以及支持临床决策的智能助手。其实际价值在于提高医疗工作效率，降低人力成本，并推动医疗服务的数字化转型。

📄 摘要（原文）

We introduce SoftTiger, a clinical large language model (CLaM) designed as a foundation model for healthcare workflows. The narrative and unstructured nature of clinical notes is a major obstacle for healthcare intelligentization. We address a critical problem of structuring clinical notes into clinical data, according to international interoperability standards. We collect and annotate data for three subtasks, namely, international patient summary, clinical impression and medical encounter. We then supervised fine-tuned a state-of-the-art LLM using public and credentialed clinical data. The training is orchestrated in a way that the target model can first support basic clinical tasks such as abbreviation expansion and temporal information extraction, and then learn to perform more complex downstream clinical tasks. Moreover, we address several modeling challenges in the healthcare context, e.g., extra long context window. Our blind pairwise evaluation shows that SoftTiger outperforms other popular open-source models and GPT-3.5, comparable to Gemini-pro, with a mild gap from GPT-4. We believe that LLMs may become a step-stone towards healthcare digitalization and democratization. Therefore, we publicly release SoftTiger models at scales of 13 billion and 70 billion parameters, as well as datasets and code for our innovative scalable evaluation, hopefully, making a significant contribution to the healthcare industry.