Gemini Goes to Med School: Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems & Hallucinations
作者: Ankit Pal, Malaikannan Sankarasubbu
分类: cs.CL, cs.AI, cs.CV, cs.HC, cs.LG
发布日期: 2024-02-10
备注: Preprint version, Under Review
🔗 代码/项目: GITHUB
💡 一句话要点
评估多模态大语言模型在医疗领域的能力与局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 医疗推理 幻觉检测 视觉问答 模型评估 安全性分析
📋 核心要点
- 现有大型语言模型在医疗领域的应用面临幻觉、过度自信和知识缺口等问题，影响其诊断准确性。
- 本文提出对多模态大语言模型Gemini进行全面评估，涵盖医疗推理、幻觉检测和视觉问答任务。
- 实验结果显示，Gemini在医疗VQA任务中的准确率为61.45%，显著低于其他先进模型，且存在明显的安全风险。
📝 摘要（中文）
大型语言模型在医疗行业具有潜在价值，但必须通过严格评估验证其安全性和有效性。本文全面评估了开源LLM和谷歌的新多模态LLM Gemini在医疗推理、幻觉检测和医疗视觉问答任务上的表现。尽管Gemini表现出一定的能力，但在诊断准确性上仍落后于MedPaLM 2和GPT-4。此外，Gemini在医疗VQA数据集上的准确率为61.45%，显著低于GPT-4V的88%。分析显示，Gemini对幻觉、过度自信和知识缺口高度敏感，若不加以审慎部署将存在风险。为降低风险，本文应用了提示策略以改善性能，并发布了用于医疗LLM评估的Python模块，建立了专门的Hugging Face排行榜以促进未来研究。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在医疗领域应用中的安全性和有效性问题，现有方法在幻觉检测和诊断准确性上存在不足。
核心思路：通过对Gemini进行全面评估，分析其在医疗推理和视觉问答任务中的表现，识别其潜在风险，并提出改进策略。
技术框架：整体评估流程包括数据集构建、模型测试和结果分析，主要模块包括医疗推理、幻觉检测和视觉问答。
关键创新：本文的创新在于系统性地评估Gemini的能力与局限性，并提出针对性的提示策略以改善模型表现。
关键设计：在实验中，采用了多种提示策略和评估指标，确保对模型在不同医疗任务中的表现进行全面分析。具体参数设置和损失函数的选择也经过精心设计，以提高评估的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemini在医疗视觉问答任务中的准确率为61.45%，显著低于GPT-4V的88%。此外，Gemini在幻觉检测方面表现不佳，显示出对过度自信和知识缺口的高度敏感性，这为其在实际应用中的安全性提出了警示。
🎯 应用场景
该研究的潜在应用领域包括医疗诊断支持系统、智能医疗助手和医学教育工具。通过提高多模态大语言模型在医疗领域的可靠性，能够为临床决策提供更为准确的信息，进而提升医疗服务质量。未来，该研究可能推动医疗AI技术的进一步发展与应用。
📄 摘要（原文）
Large language models have the potential to be valuable in the healthcare industry, but it's crucial to verify their safety and effectiveness through rigorous evaluation. For this purpose, we comprehensively evaluated both open-source LLMs and Google's new multimodal LLM called Gemini across Medical reasoning, hallucination detection, and Medical Visual Question Answering tasks. While Gemini showed competence, it lagged behind state-of-the-art models like MedPaLM 2 and GPT-4 in diagnostic accuracy. Additionally, Gemini achieved an accuracy of 61.45\% on the medical VQA dataset, significantly lower than GPT-4V's score of 88\%. Our analysis revealed that Gemini is highly susceptible to hallucinations, overconfidence, and knowledge gaps, which indicate risks if deployed uncritically. We also performed a detailed analysis by medical subject and test type, providing actionable feedback for developers and clinicians. To mitigate risks, we applied prompting strategies that improved performance. Additionally, we facilitated future research and development by releasing a Python module for medical LLM evaluation and establishing a dedicated leaderboard on Hugging Face for medical domain LLMs. Python module can be found at https://github.com/promptslab/RosettaEval