Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine

📄 arXiv: 2311.16452v1 📥 PDF

作者: Harsha Nori, Yin Tat Lee, Sheng Zhang, Dean Carignan, Richard Edgar, Nicolo Fusi, Nicholas King, Jonathan Larson, Yuanzhi Li, Weishung Liu, Renqian Luo, Scott Mayer McKinney, Robert Osazuwa Ness, Hoifung Poon, Tao Qin, Naoto Usuyama, Chris White, Eric Horvitz

分类: cs.CL

发布日期: 2023-11-28

备注: 21 pages, 7 figures

💡 一句话要点

提出Medprompt以提升GPT-4在医学领域的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用基础模型 医学领域 提示工程 Medprompt 模型微调 性能提升 多领域应用

📋 核心要点

  1. 现有的医学领域模型通常依赖于领域特定的训练，限制了通用模型的应用潜力。
  2. 本文通过提示工程的创新，提出Medprompt方法，旨在提升GPT-4的医学问题解决能力，而无需领域专家的内容。
  3. 实验结果表明，Medprompt使GPT-4在所有九个MultiMedQA基准数据集上取得了最先进的结果，错误率降低27%。

📝 摘要（中文）

通用基础模型如GPT-4在多种领域和任务中展现了惊人的能力，但普遍认为其无法匹敌经过微调的专用模型。本文通过系统的提示工程探索，发现创新的提示方法能够解锁更深层次的专业能力。我们提出的Medprompt使GPT-4在MultiMedQA基准测试中取得了领先结果，显著超越了专用模型Med-PaLM 2，并在多个领域展示了广泛的适用性。

🔬 方法详解

问题定义：本文旨在解决通用基础模型在医学领域表现不如专用微调模型的问题。现有方法如BioGPT和Med-PaLM依赖于领域特定的训练，限制了其通用性和适应性。

核心思路：我们通过系统的提示工程探索，提出Medprompt方法，利用通用的提示策略来提升GPT-4的专业能力，避免了对领域专家内容的依赖。

技术框架：整体架构包括提示设计、模型调用和结果评估三个主要模块。提示设计阶段采用多种提示策略的组合，模型调用阶段则通过优化的提示引导GPT-4进行回答，最后通过评估模块对结果进行验证和比较。

关键创新：Medprompt是本研究的核心创新，利用通用提示策略显著提升了GPT-4在医学基准测试中的表现，与依赖领域特定训练的专用模型相比，展现出更强的适应性和效率。

关键设计：在提示设计中，我们精心控制了过拟合风险，确保提示策略的有效性。实验中使用的参数设置和损失函数经过优化，以最大化模型在不同任务中的表现。具体的网络结构细节未在摘要中提供，需参考完整论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Medprompt的GPT-4在MedQA数据集上的错误率降低了27%，首次超过90%的得分，且在MultiMedQA的九个基准数据集上取得了最先进的结果，显著超越了专用模型Med-PaLM 2，且调用次数显著减少。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、医学教育及其他专业领域的知识评估。通过提升通用模型的专业能力，能够降低对领域专家的依赖，促进更广泛的知识传播与应用，未来可能在多个行业产生深远影响。

📄 摘要（原文）

Generalist foundation models such as GPT-4 have displayed surprising capabilities in a wide variety of domains and tasks. Yet, there is a prevalent assumption that they cannot match specialist capabilities of fine-tuned models. For example, most explorations to date on medical competency benchmarks have leveraged domain-specific training, as exemplified by efforts on BioGPT and Med-PaLM. We build on a prior study of GPT-4's capabilities on medical challenge benchmarks in the absence of special training. Rather than using simple prompting to highlight the model's out-of-the-box capabilities, we perform a systematic exploration of prompt engineering. We find that prompting innovation can unlock deeper specialist capabilities and show that GPT-4 easily tops prior leading results for medical benchmarks. The prompting methods we explore are general purpose, and make no specific use of domain expertise, removing the need for expert-curated content. Our experimental design carefully controls for overfitting during the prompt engineering process. We introduce Medprompt, based on a composition of several prompting strategies. With Medprompt, GPT-4 achieves state-of-the-art results on all nine of the benchmark datasets in the MultiMedQA suite. The method outperforms leading specialist models such as Med-PaLM 2 by a significant margin with an order of magnitude fewer calls to the model. Steering GPT-4 with Medprompt achieves a 27% reduction in error rate on the MedQA dataset over the best methods to date achieved with specialist models and surpasses a score of 90% for the first time. Beyond medical problems, we show the power of Medprompt to generalize to other domains and provide evidence for the broad applicability of the approach via studies of the strategy on exams in electrical engineering, machine learning, philosophy, accounting, law, nursing, and clinical psychology.