Towards Adapting Open-Source Large Language Models for Expert-Level Clinical Note Generation

📄 arXiv: 2405.00715v6 📥 PDF

作者: Hanyin Wang, Chufan Gao, Bolun Liu, Qiping Xu, Guleid Hussein, Mohamad El Labban, Kingsley Iheasirim, Hariprasad Korsapati, Chuck Outcalt, Jimeng Sun

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-25 (更新: 2025-05-27)

💡 一句话要点

提出LLaMA-Clinic以解决临床笔记生成的适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床笔记生成 大型语言模型 强化学习 开源模型 医疗文本处理

📋 核心要点

  1. 现有的专有大型语言模型在临床文本生成中表现良好，但由于隐私和成本问题，医疗机构更倾向于使用小型本地模型。
  2. 本文提出了一种针对LLaMA-2模型的适应性过程，结合了预训练、微调和强化学习，以提高临床笔记生成的质量。
  3. 实验结果显示，LLaMA-Clinic生成的笔记在质量上与医生撰写的笔记相当，92.8%的评估认为其质量可接受或更高。

📝 摘要（中文）

专有的大型语言模型（LLMs）如GPT-4和Gemini在临床文本摘要任务中展现出良好能力。然而，由于患者数据隐私和计算成本的考虑，许多医疗提供者更倾向于使用小型本地模型。本文提出了一种针对开源LLaMA-2 130亿参数模型的全面领域和任务特定适应过程，使其能够从门诊患者-医生对话中生成高质量的临床笔记。我们的过程结合了持续预训练、监督微调和来自AI与人类反馈的强化学习。我们引入了一种新的方法DistillDirect，利用Gemini 1.0 Pro作为教师模型进行政策强化学习。最终模型LLaMA-Clinic生成的临床笔记质量可与医生撰写的笔记相媲美。在盲评医生读者研究中，92.8%的评估认为LLaMA-Clinic生成的笔记在现实世界准备性、完整性和准确性上达到了“可接受”或更高的标准。

🔬 方法详解

问题定义：本文旨在解决如何有效地利用开源大型语言模型生成高质量的临床笔记，现有方法在隐私和成本方面存在局限性。

核心思路：通过持续预训练、监督微调和强化学习，结合AI与人类反馈，提升LLaMA-2模型在临床笔记生成任务中的表现。

技术框架：整体流程包括三个主要阶段：首先进行持续预训练以适应临床领域，然后进行监督微调以优化模型性能，最后通过DistillDirect方法进行强化学习，利用Gemini 1.0 Pro作为教师模型。

关键创新：引入DistillDirect方法进行政策强化学习，显著提升了模型在临床笔记生成中的适应性和质量，与传统方法相比具有更高的灵活性和效果。

关键设计：在训练过程中，采用了特定的损失函数和参数设置，以确保生成的笔记在现实世界应用中的完整性和准确性，同时预定义了“最佳实践”笔记格式以指导生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在盲评医生读者研究中，92.8%的评估认为LLaMA-Clinic生成的笔记在现实世界准备性、完整性和准确性上达到了“可接受”或更高的标准，特别是在“评估与计划”部分，其现实世界准备性得分与医生撰写的笔记相当。

🎯 应用场景

该研究的潜在应用领域包括医院和诊所的临床文书工作，能够有效减轻医生的负担，提高临床笔记的生成效率和质量。未来，LLaMA-Clinic有望在医疗记录自动化和智能化方面发挥重要作用，推动医疗服务的数字化转型。

📄 摘要（原文）

Proprietary Large Language Models (LLMs) such as GPT-4 and Gemini have demonstrated promising capabilities in clinical text summarization tasks. However, due to patient data privacy concerns and computational costs, many healthcare providers prefer using small, locally-hosted models over external generic LLMs. This study presents a comprehensive domain- and task-specific adaptation process for the open-source LLaMA-2 13 billion parameter model, enabling it to generate high-quality clinical notes from outpatient patient-doctor dialogues. Our process incorporates continued pretraining, supervised fine-tuning, and reinforcement learning from both AI and human feedback. We introduced a new approach, DistillDirect, for performing on-policy reinforcement learning with Gemini 1.0 Pro as the teacher model. Our resulting model, LLaMA-Clinic, can generate clinical notes comparable in quality to those authored by physicians. In a blinded physician reader study, the majority (92.8%) of individual evaluations rated the notes generated by LLaMA-Clinic as "acceptable" or higher across three criteria: real-world readiness, completeness, and accuracy. In the more challenging "Assessment and Plan" section, LLaMA-Clinic matched physician-authored notes in real-world readiness score. We highlight key considerations for future clinical note-generation tasks, emphasizing the importance of pre-defining a "best practice" note format, rather than relying on LLMs to determine this for clinical practice.