Toward Trustworthy Large Language Model Agents in Healthcare
作者: Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab
分类: cs.AI
发布日期: 2026-07-06
🔗 代码/项目: GITHUB
💡 一句话要点
提出CareConnect以解决医疗预约调度问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗预约调度 对话代理 大型语言模型 安全机制 自动化系统
📋 核心要点
- 医疗预约调度面临手动协调和系统碎片化等问题，导致效率低下和患者就医困难。
- 提出CareConnect，通过大型语言模型和安全机制，自动化医疗预约调度，确保安全性和效率。
- 实验结果显示，CareConnect在680个场景中实现91.8%的任务完成率，显著降低了运营成本。
📝 摘要（中文）
医疗预约调度一直是一个持续的运营瓶颈，主要由于手动协调、分散的遗留系统和高昂的行政开销。这些低效性限制了提供者的可用性，降低了患者的就医便利性。本文提出了CareConnect，一个以安全为首的对话代理，用于医疗物流自动化，利用大型语言模型（LLM）功能调用、检索增强生成（RAG）和分层确定性安全防护。该系统协调了八个特定领域工具，支持预约的预定、修改、取消和设施信息检索，同时严格限制范围，禁止提供医疗建议或诊断。通过对680个任务导向场景的综合基准评估，实验结果显示91.8%的任务完成率，平均每请求延迟2.2秒，安全合规率达到96.0%，每次预约的平均运营成本为0.0324美元，显著降低了人工调度的成本。这些发现表明，经过精心设计和严格保护的基于LLM的代理可以可靠地自动化复杂的医疗运营工作流程，同时保持安全保障并实现显著的成本效率。
🔬 方法详解
问题定义：论文要解决医疗预约调度中的手动协调和系统碎片化问题，这些问题导致了高昂的行政开销和患者就医的低效率。
核心思路：论文的核心解决思路是利用大型语言模型（LLM）和安全防护机制，构建一个能够自动化处理预约调度的对话代理，确保不提供医疗建议或诊断。
技术框架：整体架构包括多个模块，主要有对话管理、任务处理、工具协调和安全监控。系统通过协调八个领域特定工具，支持预约的预定、修改和取消等功能。
关键创新：最重要的技术创新点在于引入了分层的确定性安全防护机制，确保在处理医疗相关请求时，系统能够有效拒绝医疗建议和诊断，降低潜在风险。
关键设计：系统采用了严格的范围限制，设计了短路机制以应对紧急情况，并在安全关键评估子集上实现了96.0%的合规率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CareConnect在680个任务导向场景中实现了91.8%的任务完成率，平均每请求延迟为2.2秒，安全合规率达到96.0%。每次预约的平均运营成本仅为0.0324美元，相较于人工调度显著降低了成本，展示了其在医疗预约调度中的有效性和经济性。
🎯 应用场景
该研究的潜在应用领域包括医院、诊所及其他医疗机构的预约调度系统。通过自动化流程，CareConnect能够显著提高医疗服务的效率，降低运营成本，并改善患者的就医体验。未来，该技术有望扩展到更广泛的医疗服务自动化领域，推动医疗行业的数字化转型。
📄 摘要（原文）
Healthcare appointment scheduling remains a persistent operational bottleneck, driven by manual coordination, fragmented legacy systems, and high administrative overhead. These inefficiencies constrain provider availability and degrade patient access to care. This paper presents CareConnect, a safety-first conversational agent for healthcare logistics automation that leverages large language model (LLM) function calling, retrieval-augmented generation (RAG), and layered deterministic safety guardrails. The system orchestrates eight domain-specific tools to support appointment booking, modification, cancellation, and facility information retrieval, while enforcing strict scope constraints that prohibit medical advice or diagnosis. Safety-critical situations are handled through deterministic short-circuit mechanisms for emergency detection and medical intent refusal. We evaluate CareConnect on a comprehensive benchmark of 680 task-oriented scenarios spanning end-to-end workflows, multi-turn interactions, and edge cases. Experimental results demonstrate a 91.8% task completion rate with a median per-request latency of 2.2 seconds, 96.0% safety compliance on the dedicated safety-critical evaluation subset, and an average operational cost of $0.0324 per appointment, yielding a significant cost reduction compared to manual human scheduling. These findings show that carefully scoped and rigorously safeguarded LLM-based agents can reliably automate complex healthcare operational workflows while maintaining safety guarantees and achieving substantial cost efficiency. The source code and system implementation are publicly available at https://github.com/Hadi-Hsn/CareConnect.