MEDITRON-70B: Scaling Medical Pretraining for Large Language Models

📄 arXiv: 2311.16079v1 📥 PDF

作者: Zeming Chen, Alejandro Hernández Cano, Angelika Romanou, Antoine Bonnet, Kyle Matoba, Francesco Salvi, Matteo Pagliardini, Simin Fan, Andreas Köpf, Amirkeivan Mohtashami, Alexandre Sallinen, Alireza Sakhaeirad, Vinitra Swamy, Igor Krawczuk, Deniz Bayazit, Axel Marmet, Syrielle Montariol, Mary-Anne Hartley, Martin Jaggi, Antoine Bosselut

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-27

💡 一句话要点

提出MEDITRON-70B以解决医疗领域大规模语言模型的访问问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗语言模型 开源模型 大规模预训练 医学知识 自然语言处理 模型评估 机器学习

📋 核心要点

  1. 现有的医疗领域大规模语言模型多为闭源或参数规模有限，限制了其在医疗知识获取中的应用。
  2. 本文提出MEDITRON，一个开源的医疗领域大规模语言模型套件，包含7B和70B参数的模型，旨在提升医疗知识的可获取性。
  3. 实验结果表明，MEDITRON在多个医学基准测试中表现优异，尤其在与现有最强基线模型的比较中，性能提升显著。

📝 摘要（中文）

大规模语言模型（LLMs）有潜力使医疗知识的获取更加民主化。尽管已有多项努力旨在提升LLMs的医疗知识和推理能力，但现有模型多为闭源（如PaLM、GPT-4）或规模有限（参数≤13B），限制了其能力。本文通过发布MEDITRON，一个适用于医疗领域的开源LLM套件，提供了7B和70B参数的模型。MEDITRON基于Llama-2，并在全面策划的医学语料库上进行了扩展预训练。通过四个主要医学基准的评估，MEDITRON在任务特定微调前后均显示出显著的性能提升。总体而言，MEDITRON在其参数类别中相较于最佳公共基线实现了6%的绝对性能提升，并且在与闭源LLMs的比较中，MEDITRON-70B超越了GPT-3.5和Med-PaLM，接近GPT-4和Med-PaLM-2。

🔬 方法详解

问题定义：本文旨在解决现有医疗领域大规模语言模型的可访问性问题，现有模型多为闭源或参数规模受限，无法满足医疗知识的广泛需求。

核心思路：MEDITRON通过开源的方式提供大规模医疗领域LLMs，基于Llama-2进行适配，并在全面策划的医学语料库上进行扩展预训练，以提升模型的医疗知识和推理能力。

技术框架：MEDITRON的整体架构包括数据收集、预处理、模型训练和评估四个主要阶段。数据收集阶段从PubMed文章、摘要和国际医学指南中提取信息，预处理阶段确保数据的质量和一致性，模型训练阶段使用Nvidia的Megatron-LM进行分布式训练，最后通过多个医学基准进行评估。

关键创新：MEDITRON的主要创新在于其开源特性和大规模参数设置（7B和70B），使得研究人员和开发者能够更方便地访问和使用高性能的医疗LLMs，推动医疗领域的进一步研究和应用。

关键设计：在模型训练中，采用了适应性学习率和特定的损失函数，以优化模型在医疗任务上的表现。同时，模型的网络结构经过精心设计，以确保其在处理医学文本时的有效性和准确性。

🖼️ 关键图片

img_0

📊 实验亮点

MEDITRON在多个医学基准测试中表现优异，尤其是相较于最佳公共基线实现了6%的绝对性能提升。此外，MEDITRON-70B在与闭源LLMs的比较中超越了GPT-3.5和Med-PaLM，并且在性能上接近GPT-4和Med-PaLM-2，显示出其在医疗领域的强大能力。

🎯 应用场景

MEDITRON的研究成果在医疗领域具有广泛的应用潜力，包括医学文献的自动分析、临床决策支持系统的开发以及医学教育的辅助工具。通过提供开源的医疗LLMs，研究人员和开发者能够更轻松地构建和优化医疗相关应用，推动医疗知识的传播与应用。未来，MEDITRON可能会在个性化医疗、疾病预测和健康管理等领域发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) can potentially democratize access to medical knowledge. While many efforts have been made to harness and improve LLMs' medical knowledge and reasoning capacities, the resulting models are either closed-source (e.g., PaLM, GPT-4) or limited in scale (<= 13B parameters), which restricts their abilities. In this work, we improve access to large-scale medical LLMs by releasing MEDITRON: a suite of open-source LLMs with 7B and 70B parameters adapted to the medical domain. MEDITRON builds on Llama-2 (through our adaptation of Nvidia's Megatron-LM distributed trainer), and extends pretraining on a comprehensively curated medical corpus, including selected PubMed articles, abstracts, and internationally-recognized medical guidelines. Evaluations using four major medical benchmarks show significant performance gains over several state-of-the-art baselines before and after task-specific finetuning. Overall, MEDITRON achieves a 6% absolute performance gain over the best public baseline in its parameter class and 3% over the strongest baseline we finetuned from Llama-2. Compared to closed-source LLMs, MEDITRON-70B outperforms GPT-3.5 and Med-PaLM and is within 5% of GPT-4 and 10% of Med-PaLM-2. We release our code for curating the medical pretraining corpus and the MEDITRON model weights to drive open-source development of more capable medical LLMs.