MedAide: Leveraging Large Language Models for On-Premise Medical Assistance on Edge Devices

📄 arXiv: 2403.00830v1 📥 PDF

作者: Abdul Basit, Khizar Hussain, Muhammad Abdullah Hanif, Muhammad Shafique

分类: cs.AI, cs.CL

发布日期: 2024-02-28

备注: 7 pages, 11 figures, ACM conference paper, 33 references

💡 一句话要点

提出MedAide以解决边缘设备医疗辅助问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 边缘计算 医疗辅助 低秩适应 强化学习 LangChain 嵌入式系统 隐私保护

📋 核心要点

  1. 现有方法在资源受限的边缘设备上部署大型语言模型面临内存和延迟的挑战，难以提供有效的医疗支持。
  2. MedAide通过集成微型LLMs与LangChain，实现了高效的本地医疗聊天机器人，支持初步医疗诊断。
  3. 实验结果显示，MedAide在医疗咨询中达到了77%的准确率，并在USMLE基准测试中得分56，展现出良好的性能。

📝 摘要（中文）

大型语言模型（LLMs）正在以其卓越的自然语言处理能力改变多个领域。然而，在资源受限的边缘计算和嵌入式系统中部署LLMs面临重大挑战。此外，在基础设施有限的偏远地区提供医疗援助也是一大难题。为此，我们提出了MedAide，一个基于边缘设备的本地医疗聊天机器人。它利用集成LangChain的微型LLMs，提供高效的初步医疗诊断和支持。MedAide通过模型优化实现了在嵌入式边缘设备上最小的内存占用和延迟，且无需服务器基础设施。训练过程中采用低秩适应（LoRA）进行优化，并在多样化的医疗数据集上进行训练，利用人类反馈的强化学习（RLHF）增强其领域特定能力。该系统在多种消费级GPU和Nvidia Jetson开发板上实现，MedAide在医疗咨询中实现了77%的准确率，并在USMLE基准测试中得分56，成为一个节能的医疗辅助平台，缓解了由于边缘部署带来的隐私问题，从而赋能社区。

🔬 方法详解

问题定义：本论文旨在解决在资源受限的边缘设备上部署大型语言模型（LLMs）所面临的内存和延迟问题，以及在偏远地区提供医疗援助的挑战。现有方法往往依赖于强大的服务器基础设施，无法满足这些需求。

核心思路：论文提出的MedAide利用微型LLMs与LangChain集成，设计为一个本地医疗聊天机器人，能够在边缘设备上高效运行，提供初步医疗诊断和支持。通过优化模型的内存占用和延迟，MedAide能够在没有服务器的情况下进行操作。

技术框架：MedAide的整体架构包括数据预处理、模型训练和推理三个主要模块。首先，使用多样化的医疗数据集进行模型训练，接着通过低秩适应（LoRA）优化训练过程，最后在边缘设备上进行推理和医疗咨询。

关键创新：MedAide的主要创新在于其在边缘设备上实现了高效的LLMs部署，采用了微型模型和LangChain的集成，显著降低了内存和延迟需求。这与传统依赖服务器的模型部署方式形成了鲜明对比。

关键设计：在模型训练中，采用了低秩适应（LoRA）技术以减少参数量，并结合人类反馈的强化学习（RLHF）来提升模型的领域特定能力。此外，系统在多种消费级GPU和Nvidia Jetson开发板上进行了优化，以确保其在实际应用中的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MedAide在医疗咨询中实现了77%的准确率，并在USMLE基准测试中得分56，显示出其在医疗辅助领域的强大能力。这些结果表明，MedAide在边缘设备上能够有效提供高质量的医疗支持，且在资源利用上表现出色。

🎯 应用场景

MedAide的潜在应用场景包括偏远地区的医疗服务、家庭医疗辅助以及医疗教育等领域。通过在边缘设备上提供高效的医疗咨询，MedAide能够帮助缺乏医疗资源的社区，提升医疗服务的可及性和效率，具有重要的社会价值和实际意义。

📄 摘要（原文）

Large language models (LLMs) are revolutionizing various domains with their remarkable natural language processing (NLP) abilities. However, deploying LLMs in resource-constrained edge computing and embedded systems presents significant challenges. Another challenge lies in delivering medical assistance in remote areas with limited healthcare facilities and infrastructure. To address this, we introduce MedAide, an on-premise healthcare chatbot. It leverages tiny-LLMs integrated with LangChain, providing efficient edge-based preliminary medical diagnostics and support. MedAide employs model optimizations for minimal memory footprint and latency on embedded edge devices without server infrastructure. The training process is optimized using low-rank adaptation (LoRA). Additionally, the model is trained on diverse medical datasets, employing reinforcement learning from human feedback (RLHF) to enhance its domain-specific capabilities. The system is implemented on various consumer GPUs and Nvidia Jetson development board. MedAide achieves 77\% accuracy in medical consultations and scores 56 in USMLE benchmark, enabling an energy-efficient healthcare assistance platform that alleviates privacy concerns due to edge-based deployment, thereby empowering the community.