RESPClinBench: Benchmarking Multimodal Clinical Decision-Making and Longitudinal Disease Management in Respiratory Specialty Care

📄 arXiv: 2608.04514v1 📥 PDF

作者: Mouxiao Bian, Zhi Chen, Ruiyao Chen, Lu Lu, Hengrui Liang, Chaoyi Huang, Yiluo Lin, Jingru Ding, Yun Zhong, Yuming Su, Jie Xu

分类: cs.CL

发布日期: 2026-08-05

💡 一句话要点

提出RESPClinBench以解决呼吸专科临床决策不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 呼吸专科 临床决策 多模态评估 长期管理 语言模型 医学基准 风险评估

📋 核心要点

  1. 现有医学基准未能有效反映呼吸专科护理中的多模态解读和长期管理需求。
  2. 论文提出RESPClinBench，通过真实场景案例评估语言模型在呼吸临床决策中的表现。
  3. 实验结果显示，Qwen3.6-27B模型在整体得分上表现最佳，识别出多模态评估中的具体局限性。

📝 摘要（中文）

背景：呼吸专科护理需要多模态解读、长期风险评估、符合指南的干预和全程管理，但现有的医学基准难以体现这些需求。目标：开发RESPClinBench，一个基于真实场景的呼吸临床决策基准，并评估七种现代大型语言模型在AECOPD-PIM和PNBIM上的表现。方法：RESPClinBench案例改编自去标识化的呼吸临床数据，经过三位主治医师的修订和一位高级呼吸专家的最终审定。结果：在623个案例中，平均最终得分为68.58，Qwen3.6-27B模型表现最佳，得分71.22。结论：RESPClinBench识别了多模态肺结节评估和长期COPD管理中的任务特定局限性。

🔬 方法详解

问题定义：论文要解决的问题是现有医学基准无法有效评估呼吸专科的多模态临床决策和长期管理，导致临床实践中的决策支持不足。

核心思路：论文的核心思路是开发RESPClinBench，通过真实的临床案例来评估语言模型的决策能力，以便更好地反映临床需求。

技术框架：整体架构包括案例收集、专家审定、模型评估和结果分析四个主要模块。案例从去标识化的临床数据中提取，经过专家修订后用于模型测试。

关键创新：最重要的技术创新点在于结合了多模态数据（如影像和结构化临床信息），并通过标准化API推理来评估模型的临床决策能力，与传统的单一数据源方法有本质区别。

关键设计：在模型评估中，采用了温度设置为0的标准化推理，最大输出长度为8192个标记，最终得分通过原子行动召回率和基于评分标准的评估相结合计算得出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在623个案例中，Qwen3.6-27B模型以71.22的得分排名第一，表现出色。PNBIM中的影像幻觉和严重医疗风险分别占31.85%和8.16%，显示出模型在实际应用中的潜在风险和局限性。

🎯 应用场景

该研究的潜在应用领域包括呼吸专科的临床决策支持系统、医疗AI助手的开发以及长期疾病管理的优化。通过提供基于真实场景的评估，能够为临床实践提供更有效的决策支持，提升患者护理质量。

📄 摘要（原文）

Background: Respiratory specialty care requires multimodal interpretation, longitudinal risk assessment, guideline-concordant intervention, and whole-course management, which are poorly represented by examination-oriented medical benchmarks. Objective: To develop RESPClinBench, a real-world scenario-based benchmark for respiratory clinical decision-making, and evaluate seven contemporary large language models across AECOPD-PIM and PNBIM. Methods: RESPClinBench cases were adapted from de-identified respiratory clinical data. Three attending-level respiratory physicians revised cases, reference answers, and atomic clinical-action points, while one senior respiratory specialist performed cross-review and final adjudication. AECOPD-PIM comprised 427 open-ended COPD cases, and PNBIM comprised 196 multimodal pulmonary nodule cases combining chest CT with structured clinical information. Seven models generated 4,361 responses through standardized API inference with temperature 0 and a maximum output length of 8192 tokens. An automated framework calculated the final score as the arithmetic mean of atomic-action recall and rubric-based LLM-as-a-Judge assessment. Results: Across 623 cases, the mean final score was 68.58. Qwen3.6-27B ranked first overall at 71.22, Qwen3.5-397B-A17B led PNBIM at 72.48, and Qwen3.6-27B led AECOPD-PIM at 71.11. Imaging hallucination and serious medical risk occurred in 31.85% and 8.16% of PNBIM responses; medication-safety risk and serious medical risk occurred in 26.93% and 1.44% of AECOPD-PIM responses. Conclusions: RESPClinBench identifies task-specific limitations in multimodal pulmonary nodule assessment and longitudinal COPD management. Combining explicit clinical-action coverage, holistic evaluation, and independent safety flags provides a clinically grounded basis for model selection and prospective validation.