Evaluating Large Language Models in Ophthalmology

📄 arXiv: 2311.04933v1 📥 PDF

作者: Jason Holmes, Shuyuan Ye, Yiwei Li, Shi-Nan Wu, Zhengliang Liu, Zihao Wu, Jinyu Hu, Huan Zhao, Xi Jiang, Wei Liu, Hong Wei, Jie Zou, Tianming Liu, Yi Shao

分类: cs.CL, cs.AI

发布日期: 2023-11-07

💡 一句话要点

评估大型语言模型在眼科学中的应用效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 眼科学 医学教育 临床决策 GPT-4 性能评估 人工智能

📋 核心要点

  1. 现有的医学教育和临床决策支持系统在知识获取和应用方面存在局限性，尤其是在眼科领域。
  2. 本研究通过对比不同大型语言模型的表现，探索其在眼科专业问题解答中的有效性，旨在提升医学教育质量。
  3. 实验结果表明，GPT-4在眼科问题的回答中表现优异，超越了医学本科生，并与主治医生的水平相当，显示出其在临床应用中的潜力。

📝 摘要（中文）

本研究评估了三种大型语言模型（GPT-3.5、GPT-4和PaLM2）在回答眼科专业问题时的表现，并与三类专业人群（医学本科生、硕士生和主治医生）进行了比较。通过对100道眼科单选题的测试，结果显示每种LLM的表现普遍优于本科生，其中GPT-4的表现与主治医生相当，且在答案的稳定性和信心方面显著高于其他模型。研究表明，GPT-4在眼科领域的应用潜力巨大，未来有望在医学教育和临床决策中带来意想不到的益处。

🔬 方法详解

问题定义：本研究旨在评估大型语言模型在眼科专业问题解答中的表现，现有方法在知识应用和稳定性方面存在不足。

核心思路：通过对比GPT-3.5、GPT-4和PaLM2三种LLM与不同专业水平人群的表现，探索LLM在医学教育中的应用潜力。

技术框架：研究设计包括100道眼科单选题，分别由三种LLM和三类专业人群进行回答，评估指标包括平均得分、稳定性和信心。

关键创新：本研究首次系统性地比较了不同LLM在眼科领域的表现，特别是GPT-4在稳定性和信心方面的显著优势。

关键设计：测试题目涵盖广泛的眼科知识，评估过程中采用了标准化评分系统，以确保结果的客观性和可比性。

📊 实验亮点

实验结果显示，GPT-4在眼科问题的回答中表现优于医学本科生，且其得分与主治医生相当。此外，GPT-4在答案的稳定性和信心方面显著高于GPT-3.5和PaLM2，表明其在临床应用中的潜力。

🎯 应用场景

该研究的结果为大型语言模型在医学教育和临床决策支持中的应用提供了实证依据，尤其在眼科领域，LLM有潜力提升医学生的学习效率和临床医生的决策质量。未来，随着技术的不断进步，LLM可能会在更广泛的医学领域中发挥重要作用。

📄 摘要（原文）

Purpose: The performance of three different large language models (LLMS) (GPT-3.5, GPT-4, and PaLM2) in answering ophthalmology professional questions was evaluated and compared with that of three different professional populations (medical undergraduates, medical masters, and attending physicians). Methods: A 100-item ophthalmology single-choice test was administered to three different LLMs (GPT-3.5, GPT-4, and PaLM2) and three different professional levels (medical undergraduates, medical masters, and attending physicians), respectively. The performance of LLM was comprehensively evaluated and compared with the human group in terms of average score, stability, and confidence. Results: Each LLM outperformed undergraduates in general, with GPT-3.5 and PaLM2 being slightly below the master's level, while GPT-4 showed a level comparable to that of attending physicians. In addition, GPT-4 showed significantly higher answer stability and confidence than GPT-3.5 and PaLM2. Conclusion: Our study shows that LLM represented by GPT-4 performs better in the field of ophthalmology. With further improvements, LLM will bring unexpected benefits in medical education and clinical decision making in the near future.