Fine-tuning Large Language Model (LLM) Artificial Intelligence Chatbots in Ophthalmology and LLM-based evaluation using GPT-4

📄 arXiv: 2402.10083v1 📥 PDF

作者: Ting Fang Tan, Kabilan Elangovan, Liyuan Jin, Yao Jie, Li Yong, Joshua Lim, Stanley Poh, Wei Yan Ng, Daniel Lim, Yuhe Ke, Nan Liu, Daniel Shu Wei Ting

分类: cs.AI

发布日期: 2024-02-15

备注: 13 Pages, 1 Figure, 8 Tables

💡 一句话要点

基于GPT-4的评估方法提升眼科LLM聊天机器人的临床响应质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 眼科 大语言模型 GPT-4 自动化评估 临床准确性 微调 医疗应用

📋 核心要点

  1. 现有的LLM在医疗领域的应用中，缺乏有效的评估机制，导致生成的响应可能存在临床不准确性。
  2. 本研究通过微调多种LLM，并利用GPT-4进行评估，提出了一种新的自动化评估方法，以提高医疗问询的响应质量。
  3. 实验结果表明，GPT-4的评估与临床医生的评分高度一致，显示出其在眼科问询响应评估中的有效性和可靠性。

📝 摘要（中文）

本研究旨在评估基于GPT-4的评估方法与人类临床专家在眼科相关患者问询响应的对齐程度。研究中创建了400个眼科问题及其答案，并对5种不同的LLM进行了微调。使用定制的临床评估标准指导GPT-4的评估，结果显示GPT-4的评估与临床医生的排名高度一致，表明其在医疗相关查询的自动化评估中具有潜力，能够辅助未来LLM在医疗领域的应用开发。

🔬 方法详解

问题定义：本研究旨在解决现有LLM在眼科领域生成的响应缺乏临床准确性的问题，现有方法往往依赖人工评估，效率低下且主观性强。

核心思路：论文提出通过微调多种LLM并结合GPT-4进行自动化评估，以提高眼科相关问询的响应质量，减少人工评估的负担。

技术框架：研究首先创建了400个眼科问题及其答案，分为微调集和测试集。接着对5种不同的LLM进行微调，并使用定制的临床评估标准指导GPT-4的评估，最后将GPT-4的评估结果与5位临床医生的评分进行比较。

关键创新：最重要的创新在于结合GPT-4进行自动化评估，显著提高了评估的效率和准确性，尤其是在识别临床不准确性方面。与传统的人工评估方法相比，这种方法更具客观性和一致性。

关键设计：在微调过程中，使用了368个问题进行训练，40个问题用于测试，并在测试集中增加了8个青光眼问答对。评估标准包括临床准确性、相关性、患者安全性和易理解性等。

📊 实验亮点

实验结果显示，GPT-3.5在评估中得分最高（87.1%），其次是LLAMA2-13b（80.9%）等。GPT-4的评估与临床医生的排名高度一致，Spearman和Kendall Tau相关系数分别为0.90和0.80，表明其在临床评估中的有效性。

🎯 应用场景

该研究的成果可广泛应用于医疗领域，特别是在眼科诊疗中，能够为患者提供更准确的咨询服务。同时，该方法的自动化评估机制也为其他医疗领域的LLM应用提供了借鉴，具有重要的实际价值和未来影响。

📄 摘要（原文）

Purpose: To assess the alignment of GPT-4-based evaluation to human clinician experts, for the evaluation of responses to ophthalmology-related patient queries generated by fine-tuned LLM chatbots. Methods: 400 ophthalmology questions and paired answers were created by ophthalmologists to represent commonly asked patient questions, divided into fine-tuning (368; 92%), and testing (40; 8%). We find-tuned 5 different LLMs, including LLAMA2-7b, LLAMA2-7b-Chat, LLAMA2-13b, and LLAMA2-13b-Chat. For the testing dataset, additional 8 glaucoma QnA pairs were included. 200 responses to the testing dataset were generated by 5 fine-tuned LLMs for evaluation. A customized clinical evaluation rubric was used to guide GPT-4 evaluation, grounded on clinical accuracy, relevance, patient safety, and ease of understanding. GPT-4 evaluation was then compared against ranking by 5 clinicians for clinical alignment. Results: Among all fine-tuned LLMs, GPT-3.5 scored the highest (87.1%), followed by LLAMA2-13b (80.9%), LLAMA2-13b-chat (75.5%), LLAMA2-7b-Chat (70%) and LLAMA2-7b (68.8%) based on the GPT-4 evaluation. GPT-4 evaluation demonstrated significant agreement with human clinician rankings, with Spearman and Kendall Tau correlation coefficients of 0.90 and 0.80 respectively; while correlation based on Cohen Kappa was more modest at 0.50. Notably, qualitative analysis and the glaucoma sub-analysis revealed clinical inaccuracies in the LLM-generated responses, which were appropriately identified by the GPT-4 evaluation. Conclusion: The notable clinical alignment of GPT-4 evaluation highlighted its potential to streamline the clinical evaluation of LLM chatbot responses to healthcare-related queries. By complementing the existing clinician-dependent manual grading, this efficient and automated evaluation could assist the validation of future developments in LLM applications for healthcare.