Me LLaMA: Foundation Large Language Models for Medical Applications
作者: Qianqian Xie, Qingyu Chen, Aokun Chen, Cheng Peng, Yan Hu, Fongci Lin, Xueqing Peng, Jimin Huang, Jeffrey Zhang, Vipina Keloth, Xinyu Zhou, Lingfei Qian, Huan He, Dennis Shung, Lucila Ohno-Machado, Yonghui Wu, Hua Xu, Jiang Bian
分类: cs.CL, cs.AI
发布日期: 2024-02-20 (更新: 2024-11-02)
备注: 21 pages, 4 figures, 8 tables
💡 一句话要点
提出Me-LLaMA以解决医学语言理解挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学语言模型 文本分析 临床诊断 领域特定数据 深度学习
📋 核心要点
- 现有大型语言模型在医学领域的应用面临语言理解能力不足的问题，尤其是在复杂的临床案例中。
- 本研究提出Me-LLaMA，通过持续预训练和指令调优，利用领域特定数据集来优化医学文本分析和诊断能力。
- 实验结果显示，Me-LLaMA在多个医学文本分析任务中超越了LLaMA和其他开源医学LLM，特别是在复杂案例中表现出色。
📝 摘要（中文）
近年来，像ChatGPT和LLaMA等大型语言模型在医学应用中展现出潜力，但医学语言理解仍面临挑战。本研究提出了Me-LLaMA，一个基于开源LLaMA模型的新型医学大型语言模型家族，旨在通过利用大规模领域特定数据集优化医学文本分析和诊断。Me-LLaMA家族包括基础模型Me-LLaMA 13/70B及其增强版本，经过129B个标记和来自生物医学与临床来源的214K样本的持续预训练和指令调优。Me-LLaMA在六个医学文本分析任务上进行了评估，结果表明其在零样本和监督设置下均优于LLaMA及其他开源医学LLM，并在复杂临床案例中表现出与ChatGPT和GPT-4相当的性能。
🔬 方法详解
问题定义：本研究旨在解决现有大型语言模型在医学领域的语言理解不足，尤其是在复杂临床案例中的应用挑战。现有方法在处理医学文本时常常缺乏足够的领域知识和数据支持。
核心思路：论文提出Me-LLaMA，通过对开源LLaMA模型进行持续预训练和指令调优，结合大规模领域特定数据集，提升医学文本分析和诊断的能力。这样的设计旨在充分利用医学领域的知识，增强模型的理解和推理能力。
技术框架：Me-LLaMA的整体架构包括基础模型的构建、数据预处理、持续预训练和指令调优等多个阶段。模型通过处理来自生物医学和临床的海量数据，进行知识的积累和能力的提升。
关键创新：Me-LLaMA的核心创新在于其针对医学领域的特定优化，尤其是通过大规模领域特定数据集的使用，显著提升了模型在医学文本分析中的表现。这与现有方法的通用性设计形成鲜明对比。
关键设计：在训练过程中，Me-LLaMA使用了129B个标记和214K样本，训练70B模型耗时超过100,000 A100 GPU小时。模型的调优策略和损失函数设计也经过精心调整，以确保在医学任务中的最佳表现。
📊 实验亮点
实验结果表明，Me-LLaMA在六个医学文本分析任务上超越了LLaMA和其他开源医学LLM，尤其在零样本和监督设置下表现优异。在8个数据集中，Me-LLaMA在7个任务上超过ChatGPT，在5个任务上超过GPT-4，显示出显著的性能提升。
🎯 应用场景
Me-LLaMA的研究成果在医学领域具有广泛的应用潜力，特别是在临床决策支持、医学文本自动分析和患者诊断等方面。通过提升医学语言理解能力，该模型能够为医疗工作者提供更准确的辅助决策工具，推动医疗AI的发展和应用。
📄 摘要（原文）
Recent advancements in large language models (LLMs) like ChatGPT and LLaMA show promise in medical applications, yet challenges remain in medical language comprehension. This study presents Me-LLaMA, a new medical LLM family based on open-source LLaMA models, optimized for medical text analysis and diagnosis by leveraging large-scale, domain-specific datasets. The Me-LLaMA family, including foundation models Me-LLaMA 13/70B and their chat-enhanced versions, was developed through continued pre-training and instruction tuning with 129B tokens and 214K samples from biomedical and clinical sources. Training the 70B models required over 100,000 A100 GPU hours. Me-LLaMA's performance was evaluated across six medical text analysis tasks using 12 benchmark datasets and complex clinical case diagnosis, with automatic and human evaluations. Results indicate Me-LLaMA outperforms LLaMA and other open-source medical LLMs in zero-shot and supervised settings. Task-specific tuning further boosts performance, surpassing ChatGPT on 7 of 8 datasets and GPT-4 on 5 of 8. For complex clinical cases, Me-LLaMA achieves performance comparable to ChatGPT and GPT-4. This work underscores the importance of domain-specific data in developing medical LLMs and addresses the high computational costs involved in training, highlighting a balance between pre-training and fine-tuning strategies. Me-LLaMA models are now accessible under user agreements, providing a valuable resource for advancing medical AI.