Performance Assessment of ChatGPT vs Bard in Detecting Alzheimer's Dementia

📄 arXiv: 2402.01751v1 📥 PDF

作者: Balamurali B T, Jer-Ming Chen

分类: cs.CL, cs.AI

发布日期: 2024-01-30

备注: 22 pages

💡 一句话要点

评估ChatGPT与Bard在阿尔茨海默病检测中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿尔茨海默病 大型语言模型 零-shot学习 文本识别 临床应用

📋 核心要点

  1. 现有的阿尔茨海默病检测方法依赖于专业医生的判断，存在主观性和效率低下的问题。
  2. 论文通过评估三款大型语言模型的文本输入识别能力，提出了一种基于零-shot学习的检测方法。
  3. 实验结果显示，Bard在识别AD方面表现优异，而GPT-4在识别CN方面效果最佳，均超越了随机水平。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域的应用日益增多。本文评估了三款LLM聊天机器人（ChatGPT-3.5、ChatGPT-4和Bard）在识别阿尔茨海默病（AD）和认知正常（CN）个体方面的能力，使用来自自发语音录音的文本输入。采用零-shot学习方法，在两个独立查询层面进行评估，第二个查询（思维链提示）引导生成更详细的结果。评估指标包括准确率、敏感性、特异性、精确度和F1分数。结果显示，Bard在正确识别AD方面表现最佳，真阳性率为89%，F1分数为71%；而GPT-4在识别CN方面表现最佳，真阴性率为56%，F1分数为62%。总体而言，三款LLM聊天机器人在识别AD与CN方面超越了随机水平，但尚未满足临床应用要求。

🔬 方法详解

问题定义：本文旨在解决现有阿尔茨海默病检测方法的主观性和效率低下的问题，探索大型语言模型在此领域的应用潜力。

核心思路：通过使用零-shot学习方法，评估LLM在识别AD和CN个体的能力，利用文本输入的自然语言处理特性，提升检测的准确性和效率。

技术框架：研究采用两个独立查询层次进行评估，第一层为基本识别，第二层为思维链提示，旨在引导模型生成更详细的判断。评估指标包括准确率、敏感性、特异性、精确度和F1分数。

关键创新：本研究的创新点在于将大型语言模型应用于阿尔茨海默病的检测，利用其强大的文本理解能力，提供了一种新的检测思路。与传统方法相比，LLM能够在没有大量标注数据的情况下进行有效识别。

关键设计：在实验中，设置了不同的查询方式以评估模型的表现，采用了多种评估指标来全面衡量模型的识别能力，确保结果的可靠性和有效性。实验中还考虑了模型的“Unsure”率，以评估其在不确定情况下的表现。

📊 实验亮点

实验结果显示，Bard在正确识别阿尔茨海默病方面的真阳性率达到89%，F1分数为71%；而GPT-4在识别认知正常个体方面的真阴性率为56%，F1分数为62%。这表明三款LLM在识别AD与CN方面均超越了随机水平，但尚未达到临床应用的标准。

🎯 应用场景

该研究为阿尔茨海默病的早期检测提供了新的思路，具有潜在的临床应用价值。通过利用大型语言模型的文本处理能力，可以在医疗领域实现更高效的筛查，帮助医生做出更快的诊断决策，未来可能推动智能医疗的发展。

📄 摘要（原文）

Large language models (LLMs) find increasing applications in many fields. Here, three LLM chatbots (ChatGPT-3.5, ChatGPT-4 and Bard) are assessed - in their current form, as publicly available - for their ability to recognize Alzheimer's Dementia (AD) and Cognitively Normal (CN) individuals using textual input derived from spontaneous speech recordings. Zero-shot learning approach is used at two levels of independent queries, with the second query (chain-of-thought prompting) eliciting more detailed than the first. Each LLM chatbot's performance is evaluated on the prediction generated in terms of accuracy, sensitivity, specificity, precision and F1 score. LLM chatbots generated three-class outcome ("AD", "CN", or "Unsure"). When positively identifying AD, Bard produced highest true-positives (89% recall) and highest F1 score (71%), but tended to misidentify CN as AD, with high confidence (low "Unsure" rates); for positively identifying CN, GPT-4 resulted in the highest true-negatives at 56% and highest F1 score (62%), adopting a diplomatic stance (moderate "Unsure" rates). Overall, three LLM chatbots identify AD vs CN surpassing chance-levels but do not currently satisfy clinical application.