PeFoMed: Parameter Efficient Fine-tuning of Multimodal Large Language Models for Medical Imaging
作者: Jinlong He, Pengfei Li, Gang Liu, Genrong He, Zhaolin Chen, Shenjun Zhong
分类: cs.CL, cs.AI
发布日期: 2024-01-05 (更新: 2025-01-16)
备注: 12 pages, 8 figures, 12 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出PeFoMed框架以高效微调多模态大语言模型解决医学成像问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 医学视觉问答 医学报告生成 参数高效微调 性能评估 GPT-4 语义相似性
📋 核心要点
- 现有的多模态大语言模型在医学成像任务中表现不佳，尤其是在医学视觉问答和报告生成方面。
- 本文提出了一种参数高效的微调框架，旨在提升多模态大语言模型在医学领域的应用能力。
- 实验结果显示，微调后的模型在Med-VQA和MRG任务上显著优于未微调的GPT-4v，验证了方法的有效性。
📝 摘要（中文）
多模态大语言模型（MLLMs）在传统大语言模型的基础上实现了能力的扩展，能够处理超出纯文本应用范围的挑战。本文提出了一种参数高效的微调框架，专门针对医学视觉问答（Med-VQA）和医学报告生成（MRG）任务进行验证。我们引入了一种基于5点李克特量表的评估指标来衡量生成报告的质量，并评估了传统度量、GPT-4和人工评分的一致性。结果表明，GPT-4的语义相似性评估与人工标注者高度一致，但与传统的词汇相似性测量存在差异，质疑了后者在医学任务中的可靠性。此外，微调后的模型在性能上显著优于GPT-4v，表明未经过额外微调的多模态模型在医学成像任务上表现不佳。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在医学成像任务中的低效表现，特别是在医学视觉问答和报告生成方面，现有方法未能充分利用模型的潜力。
核心思路：提出了一种参数高效的微调框架，通过优化模型参数来提升其在医学任务中的表现，避免了传统方法中对大量参数的依赖。
技术框架：整体架构包括数据预处理、模型微调和评估三个主要模块。数据预处理阶段使用公共基准数据集，微调阶段采用特定的损失函数和优化策略，评估阶段则引入5点李克特量表进行质量评估。
关键创新：最重要的创新在于提出了一种新的评估指标，结合了人工标注和GPT-4模型的评分，提供了更稳定的性能评估方法，挑战了传统的词汇相似性度量。
关键设计：在微调过程中，采用了特定的超参数设置和损失函数设计，确保模型在医学任务中的表现得到最大化提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，微调后的模型在Med-VQA和MRG任务上显著优于未微调的GPT-4v，具体性能提升幅度达到XX%（具体数据未知），验证了提出方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床决策支持和医疗报告自动生成等。通过提升多模态大语言模型在医学领域的应用能力，能够为医生提供更准确的辅助决策工具，进而改善患者的诊疗体验和效率。
📄 摘要（原文）
Multimodal large language models (MLLMs) represent an evolutionary expansion in the capabilities of traditional large language models, enabling them to tackle challenges that surpass the scope of purely text-based applications. It leverages the knowledge previously encoded within these language models, thereby enhancing their applicability and functionality in the reign of multimodal contexts. Recent works investigate the adaptation of MLLMs as a universal solution to address medical multi-modal problems as a generative task. In this paper, we propose a parameter efficient framework for fine-tuning MLLMs, specifically validated on medical visual question answering (Med-VQA) and medical report generation (MRG) tasks, using public benchmark datasets. We also introduce an evaluation metric using the 5-point Likert scale and its weighted average value to measure the quality of the generated reports for MRG tasks, where the scale ratings are labelled by both humans manually and the GPT-4 model. We further assess the consistency of performance metrics across traditional measures, GPT-4, and human ratings for both VQA and MRG tasks. The results indicate that semantic similarity assessments using GPT-4 align closely with human annotators and provide greater stability, yet they reveal a discrepancy when compared to conventional lexical similarity measurements. This questions the reliability of lexical similarity metrics for evaluating the performance of generative models in Med-VQA and report generation tasks. Besides, our fine-tuned model significantly outperforms GPT-4v. This indicates that without additional fine-tuning, multi-modal models like GPT-4v do not perform effectively on medical imaging tasks. The code will be available here: https://github.com/jinlHe/PeFoMed.