Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks
作者: Hyunjae Kim, Hyeon Hwang, Jiwoo Lee, Sihyeon Park, Dain Kim, Taewhoo Lee, Chanwoong Yoon, Jiwoong Sohn, Donghee Choi, Jaewoo Kang
分类: cs.CL
发布日期: 2024-03-30 (更新: 2024-06-30)
备注: Added new LLaMA-3-based models and experiments on NEJM case challenges
💡 一句话要点
提出Meerkat以解决小型语言模型在医学推理中的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学语言模型 推理能力 合成数据集 多步推理 临床决策支持 模型训练 医学教育
📋 核心要点
- 现有的开源医学语言模型参数有限，导致其在复杂医学问题上的多步推理能力不足。
- 本文提出Meerkat系列模型，通过高质量的医学教科书推理路径合成数据集进行训练，提升推理能力。
- Meerkat在多个医学基准测试中表现优异，尤其是Meerkat-7B首次通过USMLE，Meerkat-70B超越GPT-4。
📝 摘要（中文）
尽管商业大型语言模型在医学任务中取得了显著进展，但其闭源特性引发了隐私和安全问题，限制了其在医学领域的广泛应用。为了解决这一问题，本文提出了Meerkat，一个参数范围从7亿到700亿的新型医学AI系统。该模型使用来自18本医学教科书的高质量推理路径构建的新合成数据集进行训练，并在六个医学基准测试中表现出色，超越了MediTron、BioMistral和GPT-3.5等先前最佳模型。Meerkat-7B首次在7B参数模型中超越了美国医学执照考试的及格线，而Meerkat-70B的表现则平均超越了GPT-4 1.3%。
🔬 方法详解
问题定义：现有的开源医学语言模型由于参数限制，无法有效进行复杂的多步推理，导致在医学任务中的表现不佳。
核心思路：本文提出Meerkat系列模型，通过利用高质量的医学教科书推理路径构建合成数据集，增强模型的推理能力，旨在解决小型模型在医学领域的应用瓶颈。
技术框架：Meerkat模型的整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段从18本医学教科书中提取推理路径，训练阶段则使用合成数据集进行模型优化，评估阶段通过多个医学基准测试验证模型性能。
关键创新：Meerkat的主要创新在于其使用的合成数据集，结合了高质量的推理路径和多样化的指令集，使得模型在推理能力上显著提升，超越了现有的医学语言模型。
关键设计：在模型设计上，Meerkat系列采用了不同参数规模的模型（7B至70B），并在训练过程中使用了特定的损失函数和优化策略，以确保模型在推理任务中的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
Meerkat-7B首次在7B参数模型中超越了美国医学执照考试的及格线，而Meerkat-70B在复杂临床案例诊断中表现优异，正确诊断21例，超越人类的13.8例，接近GPT-4的21.8例，显示出其在医学推理中的强大能力。
🎯 应用场景
Meerkat模型在医学领域的潜在应用包括临床决策支持、医学教育以及医疗咨询等。其高效的推理能力能够帮助医生更好地进行诊断和治疗，同时也为医学研究提供了有力的工具。未来，Meerkat有望在更多复杂医学场景中发挥重要作用。
📄 摘要（原文）
While recent advancements in commercial large language models (LM) have shown promising results in medical tasks, their closed-source nature poses significant privacy and security concerns, hindering their widespread use in the medical field. Despite efforts to create open-source models, their limited parameters often result in insufficient multi-step reasoning capabilities required for solving complex medical problems. To address this, we introduce Meerkat, a new family of medical AI systems ranging from 7 to 70 billion parameters. The models were trained using our new synthetic dataset consisting of high-quality chain-of-thought reasoning paths sourced from 18 medical textbooks, along with diverse instruction-following datasets. Our systems achieved remarkable accuracy across six medical benchmarks, surpassing the previous best models such as MediTron and BioMistral, and GPT-3.5 by a large margin. Notably, Meerkat-7B surpassed the passing threshold of the United States Medical Licensing Examination (USMLE) for the first time for a 7B-parameter model, while Meerkat-70B outperformed GPT-4 by an average of 1.3%. Additionally, Meerkat-70B correctly diagnosed 21 out of 38 complex clinical cases, outperforming humans' 13.8 and closely matching GPT-4's 21.8. Our systems offered more detailed free-form responses to clinical queries compared to existing small models, approaching the performance level of large commercial models. This significantly narrows the performance gap with large LMs, showcasing its effectiveness in addressing complex medical challenges.