Combining Insights From Multiple Large Language Models Improves Diagnostic Accuracy

📄 arXiv: 2402.08806v1 📥 PDF

作者: Gioele Barabucci, Victor Shia, Eugene Chu, Benjamin Harack, Nathan Fu

分类: cs.AI

发布日期: 2024-02-13

备注: 5 pages, 2 figures, 1 table

DOI: 10.1056/AIcs2400502

💡 一句话要点

通过结合多种大型语言模型提升诊断准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医学诊断 集体智能 响应聚合 诊断准确性 多模型集成

📋 核心要点

  1. 现有大型语言模型在医学诊断中的应用存在准确性不足的问题，限制了其作为诊断支持工具的有效性。
  2. 本研究提出通过集成多个大型语言模型的响应，利用集体智能方法来提高诊断的准确性，减少对单一模型的依赖。
  3. 实验结果表明，结合多个LLMs的响应可以显著提高鉴别诊断的准确性，3个模型的平均准确率达到75.3%，相比单个模型的59.0%有明显提升。

📝 摘要（中文）

背景：大型语言模型（LLMs），如OpenAI的GPT-4和Google的PaLM 2，被提议作为有效的诊断支持工具，甚至被视为“路边咨询”的替代品。然而，即使是专门针对医学主题训练的LLMs，在实际应用中可能仍缺乏足够的诊断准确性。方法：使用集体智能方法和200个真实病例的临床小插曲数据集，我们评估并比较了通过单个商业LLMs（OpenAI GPT-4、Google PaLM 2、Cohere Command、Meta Llama 2）获得的鉴别诊断的准确性与通过组合相同LLMs的响应合成的鉴别诊断的准确性。结果：我们发现，聚合来自多个不同LLMs的响应可以提高鉴别诊断的准确性（3个LLMs的平均准确率为75.3%±1.6pp），相比之下，单个LLMs产生的鉴别诊断的平均准确率为59.0%±6.1pp。讨论：使用集体智能方法合成不同LLMs的响应的鉴别诊断，达成了推动LLMs作为诊断支持工具接受度的两个必要步骤：1）展示高诊断准确性，2）消除对单一商业供应商的依赖。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在医学诊断中准确性不足的问题。现有方法往往依赖单一模型，导致诊断结果的可靠性受到限制。

核心思路：论文提出通过集成多个不同的LLMs的响应，利用集体智能方法来合成更为准确的鉴别诊断，从而提高整体的诊断准确性。

技术框架：研究首先收集200个真实病例的临床小插曲数据集，然后分别使用多个LLMs进行诊断，并将各模型的输出进行聚合，最终形成综合的诊断结果。

关键创新：最重要的技术创新在于通过集成不同LLMs的响应，显著提高了诊断的准确性。这一方法与传统依赖单一模型的方式形成鲜明对比，展示了集体智能在医学领域的潜力。

关键设计：在实验中，使用了多个商业LLMs的组合，设置了准确性评估的标准，并采用了适当的聚合算法来整合不同模型的输出，以确保最终结果的可靠性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，结合多个LLMs的响应后，鉴别诊断的平均准确率达到了75.3%，相比单个LLMs的59.0%有显著提升，提升幅度达到16.3个百分点。这一结果验证了集体智能方法在医学诊断中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断支持系统，尤其是在需要快速、准确诊断的紧急医疗场景中。通过提高诊断的准确性，能够有效辅助医生决策，提升患者的治疗效果。未来，结合多种LLMs的集体智能方法可能会在其他领域的智能决策中发挥重要作用。

📄 摘要（原文）

Background: Large language models (LLMs) such as OpenAI's GPT-4 or Google's PaLM 2 are proposed as viable diagnostic support tools or even spoken of as replacements for "curbside consults". However, even LLMs specifically trained on medical topics may lack sufficient diagnostic accuracy for real-life applications. Methods: Using collective intelligence methods and a dataset of 200 clinical vignettes of real-life cases, we assessed and compared the accuracy of differential diagnoses obtained by asking individual commercial LLMs (OpenAI GPT-4, Google PaLM 2, Cohere Command, Meta Llama 2) against the accuracy of differential diagnoses synthesized by aggregating responses from combinations of the same LLMs. Results: We find that aggregating responses from multiple, various LLMs leads to more accurate differential diagnoses (average accuracy for 3 LLMs: $75.3\%\pm 1.6pp$) compared to the differential diagnoses produced by single LLMs (average accuracy for single LLMs: $59.0\%\pm 6.1pp$). Discussion: The use of collective intelligence methods to synthesize differential diagnoses combining the responses of different LLMs achieves two of the necessary steps towards advancing acceptance of LLMs as a diagnostic support tool: (1) demonstrate high diagnostic accuracy and (2) eliminate dependence on a single commercial vendor.