Evaluating multiple large language models in pediatric ophthalmology
作者: Jason Holmes, Rui Peng, Yiwei Li, Jinyu Hu, Zhengliang Liu, Zihao Wu, Huan Zhao, Xi Jiang, Wei Liu, Hong Wei, Jie Zou, Tianming Liu, Yi Shao
分类: cs.CL
发布日期: 2023-11-07
备注: 6 figures, 1 table
💡 一句话要点
评估大型语言模型在儿科眼科咨询中的应用潜力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 儿科眼科 医学教育 模型评估 医疗辅助技术
📋 核心要点
- 现有研究未明确不同大型语言模型在儿科眼科咨询中的表现，缺乏系统性评估。
- 本研究设计了一份100道题的考试，评估LLMs与不同层次医学人员的表现，提供了比较依据。
- 实验结果表明，GPT-4的表现与执业医生相当，且在回答稳定性和信心方面优于其他模型。
📝 摘要（中文）
本研究探讨了不同大型语言模型（LLMs）在儿科眼科咨询中的响应有效性，特别是与医学学生、研究生和执业医生的比较。通过设计一份包含100个问题的考试，评估了ChatGPT（GPT-3.5）、GPT-4和PaLM2的表现。结果显示，GPT-4的表现与执业医生相当，而ChatGPT和PaLM2在回答问题时优于医学学生，但略逊于研究生。此外，GPT-4在回答稳定性和信心方面表现更佳。这些结果表明LLMs在儿科眼科领域提供医疗辅助的潜力，并对医学教育具有重要指导意义。
🔬 方法详解
问题定义：本研究旨在评估不同大型语言模型在儿科眼科咨询中的表现，现有方法缺乏对LLMs与医学人员的系统比较，导致对其应用潜力的认识不足。
核心思路：通过设计一份包含100个问题的考试，比较LLMs与医学学生、研究生和执业医生在儿科眼科领域的回答能力，以此评估LLMs的实际应用价值。
技术框架：研究通过问卷调查的形式，利用LLM网络接口进行测试，参与者包括医学学生、研究生和执业医生，主要模块包括问题设计、模型评估和结果分析。
关键创新：本研究首次系统性地比较了不同LLMs与医学人员在特定领域的表现，揭示了LLMs在专业医疗咨询中的潜力，推动了医疗辅助技术的发展。
关键设计：在实验中，使用了100道多项选择题，评估了LLMs和人类参与者的平均得分、回答稳定性、相关性和响应信心等关键指标。
📊 实验亮点
实验结果显示，GPT-4的表现与执业医生相当，平均得分接近，且在回答稳定性和信心方面明显优于ChatGPT（GPT-3.5）和PaLM2。ChatGPT和PaLM2的表现则优于医学学生，但略逊于研究生，显示出LLMs在专业领域的应用潜力。
🎯 应用场景
该研究的结果为大型语言模型在医疗领域的应用提供了重要依据，尤其是在儿科眼科咨询中，LLMs可以作为辅助工具，帮助医生提高诊断效率和准确性。此外，研究还为医学教育提供了新的思路，LLMs可以在医学学生的学习过程中发挥重要作用。
📄 摘要（原文）
IMPORTANCE The response effectiveness of different large language models (LLMs) and various individuals, including medical students, graduate students, and practicing physicians, in pediatric ophthalmology consultations, has not been clearly established yet. OBJECTIVE Design a 100-question exam based on pediatric ophthalmology to evaluate the performance of LLMs in highly specialized scenarios and compare them with the performance of medical students and physicians at different levels. DESIGN, SETTING, AND PARTICIPANTS This survey study assessed three LLMs, namely ChatGPT (GPT-3.5), GPT-4, and PaLM2, were assessed alongside three human cohorts: medical students, postgraduate students, and attending physicians, in their ability to answer questions related to pediatric ophthalmology. It was conducted by administering questionnaires in the form of test papers through the LLM network interface, with the valuable participation of volunteers. MAIN OUTCOMES AND MEASURES Mean scores of LLM and humans on 100 multiple-choice questions, as well as the answer stability, correlation, and response confidence of each LLM. RESULTS GPT-4 performed comparably to attending physicians, while ChatGPT (GPT-3.5) and PaLM2 outperformed medical students but slightly trailed behind postgraduate students. Furthermore, GPT-4 exhibited greater stability and confidence when responding to inquiries compared to ChatGPT (GPT-3.5) and PaLM2. CONCLUSIONS AND RELEVANCE Our results underscore the potential for LLMs to provide medical assistance in pediatric ophthalmology and suggest significant capacity to guide the education of medical students.