AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator

📄 arXiv: 2402.09742v4 📥 PDF

作者: Zhihao Fan, Jialong Tang, Wei Chen, Siyuan Wang, Zhongyu Wei, Jun Xi, Fei Huang, Jingren Zhou

分类: cs.CL

发布日期: 2024-02-15 (更新: 2024-06-28)

备注: https://github.com/LibertFan/AI_Hospital

🔗 代码/项目: GITHUB

💡 一句话要点

提出AI Hospital框架以解决医疗互动中LLMs应用不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗互动 多代理系统 诊断支持 性能评估

📋 核心要点

  1. 现有的LLMs在多轮医生与患者的互动中表现不佳，限制了其在临床中的实际应用。
  2. 本文提出AI Hospital框架，通过模拟多种医疗角色的互动，评估LLMs在复杂场景中的表现。
  3. 实验结果显示，尽管LLMs在某些方面有所提升，但在多轮对话中仍存在显著的性能差距。

📝 摘要（中文）

人工智能在医疗领域的进步显著，尤其是大型语言模型（LLMs）在医学问答基准测试中的表现。然而，由于医生与患者互动的复杂性，LLMs在实际临床应用中仍然受到限制。为此，本文提出了AI Hospital，一个多代理框架，模拟医生与患者、考官、主任医师等非玩家角色之间的动态医疗互动。这一设置使得对LLMs在临床场景中的评估更加真实。我们开发了多视角医学评估（MVME）基准，利用高质量的中文医疗记录和NPC评估LLMs在症状收集、检查建议和诊断方面的表现。此外，提出了一种争议解决协作机制，通过迭代讨论提高诊断准确性。尽管有所改进，目前LLMs在多轮互动中的表现仍显著低于单步方法。我们的研究结果强调了进一步研究的必要性，以缩小这些差距并提升LLMs的临床诊断能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂医疗互动中的应用不足，现有方法在多轮对话中表现不佳，难以满足临床需求。

核心思路：通过构建AI Hospital框架，模拟医生与患者等角色的动态互动，提供真实的评估环境，以提升LLMs的临床应用能力。

技术框架：整体架构包括多个模块，如医生（玩家）与患者、考官、主任医师（NPC）之间的互动，结合多视角医学评估（MVME）基准进行性能评估。

关键创新：提出的争议解决协作机制是本文的核心创新，通过迭代讨论提高诊断准确性，与现有方法相比，增强了模型在复杂场景中的适应能力。

关键设计：在实验中使用高质量中文医疗记录，设置了多种评估指标，确保对LLMs在症状收集、检查建议和诊断方面的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管LLMs在单步问答中表现良好，但在多轮互动中仍存在显著的性能差距，具体表现为在症状收集和诊断准确性方面的提升幅度有限。该研究为未来的改进方向提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括医疗问答系统、智能诊断助手和临床决策支持工具。通过提升LLMs在复杂医疗互动中的表现，能够更好地辅助医生，提高医疗服务的效率和准确性，未来可能对医疗行业产生深远影响。

📄 摘要（原文）

Artificial intelligence has significantly advanced healthcare, particularly through large language models (LLMs) that excel in medical question answering benchmarks. However, their real-world clinical application remains limited due to the complexities of doctor-patient interactions. To address this, we introduce \textbf{AI Hospital}, a multi-agent framework simulating dynamic medical interactions between \emph{Doctor} as player and NPCs including \emph{Patient}, \emph{Examiner}, \emph{Chief Physician}. This setup allows for realistic assessments of LLMs in clinical scenarios. We develop the Multi-View Medical Evaluation (MVME) benchmark, utilizing high-quality Chinese medical records and NPCs to evaluate LLMs' performance in symptom collection, examination recommendations, and diagnoses. Additionally, a dispute resolution collaborative mechanism is proposed to enhance diagnostic accuracy through iterative discussions. Despite improvements, current LLMs exhibit significant performance gaps in multi-turn interactions compared to one-step approaches. Our findings highlight the need for further research to bridge these gaps and improve LLMs' clinical diagnostic capabilities. Our data, code, and experimental results are all open-sourced at \url{https://github.com/LibertFan/AI_Hospital}.