AgentMD: Empowering Language Agents for Risk Prediction with Large-Scale Clinical Tool Learning

📄 arXiv: 2402.13225v1 📥 PDF

作者: Qiao Jin, Zhizheng Wang, Yifan Yang, Qingqing Zhu, Donald Wright, Thomas Huang, W John Wilbur, Zhe He, Andrew Taylor, Qingyu Chen, Zhiyong Lu

分类: cs.CL, cs.AI

发布日期: 2024-02-20

备注: Work in progress

💡 一句话要点

提出AgentMD以解决临床计算器使用效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床计算器 语言代理 医疗分析 风险预测 人工智能 机器学习 数据驱动决策

📋 核心要点

  1. 现有临床计算器的使用效率低，受限于可用性和功能性，影响了其在医疗中的广泛应用。
  2. AgentMD是一种新型语言代理，能够自动整理和应用临床计算器，提升医疗工作流程的效率。
  3. 实验结果显示，AgentMD在RiskQA基准测试中准确率达到87.7%，显著优于现有方法，展示了其在临床分析中的潜力。

📝 摘要（中文）

临床计算器在医疗保健中通过提供基于证据的预测发挥着重要作用。然而，其广泛应用常因可用性挑战、传播不畅和功能受限而受到阻碍。通过将大型语言模型与丰富的临床计算器结合，AgentMD应运而生，能够在多种临床环境中自动整理和应用临床计算器。研究表明，AgentMD自动整理的2,164个临床计算器工具在三个质量指标上准确率超过80%。在新建立的RiskQA基准上，AgentMD的表现显著优于GPT-4的链式思维提示，准确率达到87.7%。

🔬 方法详解

问题定义：本研究旨在解决临床计算器在医疗应用中的低效使用问题，现有方法面临可用性差、传播不畅和功能限制等挑战。

核心思路：论文提出的AgentMD通过自动整理和应用临床计算器，利用大型语言模型的能力来提升医疗工作流程的效率。

技术框架：AgentMD的整体架构包括文献检索、临床计算器的自动整理、功能执行和结果应用等主要模块，形成一个完整的工作流程。

关键创新：最重要的技术创新在于AgentMD能够自动化地整理和应用临床计算器，解决了手动整理的可扩展性问题，与现有方法相比，显著提高了效率和准确性。

关键设计：在设计中，AgentMD采用了结构化文档和可执行功能的临床计算器，确保了工具的准确性和实用性，同时在评估中使用了多个质量指标来验证其性能。

📊 实验亮点

在实验中，AgentMD在RiskQA基准测试中的准确率达到87.7%，显著高于GPT-4的40.9%。此外，RiskCalcs工具在三个质量指标上均实现了超过80%的准确率，展示了其在临床应用中的有效性和可靠性。

🎯 应用场景

AgentMD的研究成果在医疗分析和患者护理中具有广泛的应用潜力。通过提高临床计算器的使用效率，能够帮助医生更快速地做出基于数据的决策，从而改善患者的治疗效果和医疗服务质量。未来，AgentMD可能在更多临床场景中得到推广，推动医疗智能化的发展。

📄 摘要（原文）

Clinical calculators play a vital role in healthcare by offering accurate evidence-based predictions for various purposes such as prognosis. Nevertheless, their widespread utilization is frequently hindered by usability challenges, poor dissemination, and restricted functionality. Augmenting large language models with extensive collections of clinical calculators presents an opportunity to overcome these obstacles and improve workflow efficiency, but the scalability of the manual curation process poses a significant challenge. In response, we introduce AgentMD, a novel language agent capable of curating and applying clinical calculators across various clinical contexts. Using the published literature, AgentMD has automatically curated a collection of 2,164 diverse clinical calculators with executable functions and structured documentation, collectively named RiskCalcs. Manual evaluations show that RiskCalcs tools achieve an accuracy of over 80% on three quality metrics. At inference time, AgentMD can automatically select and apply the relevant RiskCalcs tools given any patient description. On the newly established RiskQA benchmark, AgentMD significantly outperforms chain-of-thought prompting with GPT-4 (87.7% vs. 40.9% in accuracy). Additionally, we also applied AgentMD to real-world clinical notes for analyzing both population-level and risk-level patient characteristics. In summary, our study illustrates the utility of language agents augmented with clinical calculators for healthcare analytics and patient care.