AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows
作者: Jiahui Niu, Huizi Yu, Wenkong Wang, Guangxin Dai, Jingxian He, Xiang Li, Zhiying Liang, Xinxin Lin, Kent CY So, Bryan YP Yan, Yun Kwok Wing, Yanqiu Xing, Xin Ma, Lizhou Fan
分类: cs.CL, cs.AI
发布日期: 2026-06-16
备注: 49 pages, 12 figues, 11 tables
💡 一句话要点
提出AIPatient Arena以解决医疗咨询中LLMs评估不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 临床咨询 电子健康记录 多轮互动 评估框架 医疗人工智能 知识图谱
📋 核心要点
- 现有的医疗评估方法多为静态和单轮，无法反映真实的临床互动和复杂性。
- AIPatient Arena框架通过整合EHR数据，构建患者特定知识图谱，支持多轮互动评估LLMs。
- 实验结果表明，LLMs在某些领域表现良好，但在处理模糊信息和诊断准确性方面仍有待提高。
📝 摘要（中文）
大型语言模型（LLMs）在临床咨询任务中的应用日益受到关注，但现有的评估方法往往是静态的、单轮的，且局限于结果导向，无法反映真实医疗过程中的连续性、不确定性和互动性。本文提出了AIPatient Arena，一个基于电子健康记录（EHR）的评估框架，旨在从八个维度评估LLMs的临床能力。通过将EHR数据整合为患者特定的知识图谱，该框架支持多轮医患互动。实验结果显示，LLMs在医疗访谈技巧、伦理和专业行为、临床解释的清晰度等方面表现良好，但在处理模糊患者反应、信息覆盖和诊断准确性等方面存在显著不足。
🔬 方法详解
问题定义：本文旨在解决现有医疗评估方法无法有效反映LLMs在真实临床咨询中的表现，尤其是在多轮互动和不确定性处理方面的不足。
核心思路：AIPatient Arena框架通过整合电子健康记录（EHR）数据，构建患者特定的知识图谱，以支持多轮医患互动，从而更全面地评估LLMs的临床能力。
技术框架：该框架包括数据整合模块、知识图谱构建模块和多轮互动评估模块。数据整合模块从EHR中提取相关信息，知识图谱模块将信息结构化，而评估模块则通过模拟医患对话进行性能评估。
关键创新：AIPatient Arena的核心创新在于将EHR数据与LLMs结合，提供了一个动态的、基于流程的评估方法，区别于传统的静态评估方式。
关键设计：在设计中，采用了多轮对话策略，设置了针对不同评估维度的评分标准，并在模型训练中引入了针对模糊信息处理的损失函数，以提升模型在复杂场景下的表现。
📊 实验亮点
实验结果显示，LLMs在医疗访谈技巧（平均得分4.43-4.99/5）、伦理和专业行为（4.38-4.93/5）以及临床解释的清晰度（3.80-4.72/5）方面表现良好。然而，在处理模糊患者反应（2.57-3.32/5）、信息覆盖（2.08-3.02/5）和诊断准确性（2.63-3.55/5）方面则存在显著不足，表明最终答案的准确性不足以全面评估临床准备度。
🎯 应用场景
AIPatient Arena框架具有广泛的应用潜力，能够用于医疗领域中大型语言模型的评估与优化，尤其是在临床咨询、患者沟通和医疗决策支持等场景中。通过提高模型的临床适应性，该框架有望提升医疗服务质量和患者满意度，推动智能医疗的发展。
📄 摘要（原文）
Large language models (LLMs) are increasingly considered for use in clinical consultation tasks, yet most medical evaluations remain static, single-turn, or narrowly outcome-based, limiting their ability to reflect the sequential, uncertain, and interactive nature of real-world care. Here, we propose AIPatient Arena, an EHRs-grounded evaluation framework for assessing the clinical utility of LLMs across eight dimensions of clinical competence. The framework integrates EHR data into patient-specific knowledge graphs, enabling multi-turn physician-patient interactions. We applied AIPatient Arena on a primary cohort of 437 patients and two out-of-distribution validation cohorts of 119 and 67 patients. We observe that LLMs performed well in medical interview questioning skills (QS; mean scores, 4.43-4.99/5), ethical and professional conduct (ET; 4.38-4.93/5), and clarity and transparency of clinical explanations (EX; 3.80-4.72/5). Performance was moderate in information integration (II; 3.19-4.21/5) and medication safety and justification (MS; 3.13-3.78/5), but persistent weaknesses were observed in handling of ambiguous patient responses (HR; 2.57-3.32/5), information coverage (IC; 2.08-3.02/5), and diagnostic accuracy and reasoning (Dx; 2.63-3.55/5). Process-based evaluation revealed recurrent interaction failures, including repetitive questioning, omission of past medical history, and inadequate handling of uncertainty. Richer conversational context improved diagnostic reasoning but yielded limited gains in treatment planning. These findings indicate that final-answer accuracy alone is insufficient for evaluating clinical readiness and highlight the importance of assessing how models gather, interpret, and communicate information throughout a consultation. AIPatient Arena provides an EHR-grounded framework for workflow-oriented pre-deployment evaluation of medical LLMs.