Improving Medical Report Generation with Adapter Tuning and Knowledge Enhancement in Vision-Language Foundation Models

📄 arXiv: 2312.03970v1 📥 PDF

作者: Shibin Wu, Bang Yang, Zhiyu Ye, Haoqian Wang, Hairong Zheng, Tong Zhang

分类: cs.CV, cs.AI, cs.CE

发布日期: 2023-12-07

💡 一句话要点

提出基于Adapter Tuning和知识增强的医学报告生成方法，提升视觉-语言基础模型在医学领域的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学报告生成 视觉-语言模型 Adapter Tuning 知识增强 BLIP-2

📋 核心要点

  1. 医学报告生成面临数据稀缺难题，限制了大型视觉-语言模型在医学领域的应用。
  2. 采用Adapter Tuning和医学知识增强损失，优化BLIP-2模型，提升报告生成质量。
  3. 在ImageCLEFmedical 2023数据集上验证，ROUGE和CIDEr指标显著提升，效果优于现有方法。

📝 摘要（中文）

医学报告生成需要为医学图像自动创建连贯且精确的描述。然而，标记的医学图像-报告对的稀缺性对开发能够利用大型语言模型等人工智能潜力的大规模神经网络提出了严峻的挑战。本研究基于最先进的视觉-语言预训练和微调方法BLIP-2，定制通用的大规模基础模型。通过整合Adapter Tuning和医学知识增强损失，我们的模型显著提高了准确性和连贯性。在ImageCLEFmedical 2023数据集上的验证表明了我们模型的强大功能，实现了优于几种最先进方法的最佳平均结果。ROUGE和CIDEr的显著改进突出了我们方法的有效性，强调了视觉-语言基础模型在快速医学领域适应方面应对数据稀缺性挑战的有希望的结果。

🔬 方法详解

问题定义：医学报告生成任务旨在根据给定的医学图像自动生成相应的报告。现有方法在数据稀缺的情况下，难以充分利用大型视觉-语言模型的潜力，生成的报告可能不够准确和连贯。

核心思路：论文的核心思路是利用Adapter Tuning方法，在预训练的视觉-语言模型BLIP-2的基础上，针对医学领域的数据进行高效的微调。同时，引入医学知识增强损失，引导模型学习医学领域的专业知识，从而提高报告的准确性和连贯性。

技术框架：整体框架基于BLIP-2，主要包含图像编码器、文本解码器和Adapter模块。图像编码器负责提取医学图像的视觉特征，文本解码器负责生成报告文本。Adapter模块被插入到BLIP-2的Transformer层中，用于学习特定于医学领域的知识。训练过程中，同时使用交叉熵损失和医学知识增强损失。

关键创新：关键创新在于Adapter Tuning和医学知识增强损失的结合。Adapter Tuning允许在保持预训练模型大部分参数不变的情况下，仅微调少量参数，从而降低了对数据的需求。医学知识增强损失则通过引入医学领域的先验知识，引导模型生成更准确的报告。

关键设计：Adapter模块被插入到BLIP-2的Transformer层的每个自注意力模块和前馈网络之后。医学知识增强损失通过计算生成报告与医学知识库中相关概念之间的语义相似度来实现。具体而言，使用预训练的医学领域词向量来表示医学概念，并计算生成报告和相关概念的词向量之间的余弦相似度。损失函数的目标是最大化生成报告与相关概念之间的相似度。

📊 实验亮点

实验结果表明，该方法在ImageCLEFmedical 2023数据集上取得了最佳的平均结果，显著优于现有的最先进方法。具体而言，ROUGE指标和CIDEr指标均得到了显著提升，表明生成的报告在准确性和连贯性方面都有了显著的提高。这些结果验证了Adapter Tuning和医学知识增强损失的有效性。

🎯 应用场景

该研究成果可应用于辅助医生进行诊断和报告撰写，提高医疗效率和准确性。通过自动生成医学报告，可以减轻医生的工作负担，并为患者提供更及时和全面的医疗服务。未来，该技术有望扩展到其他医学影像领域，例如病理图像分析和手术导航。

📄 摘要（原文）

Medical report generation demands automatic creation of coherent and precise descriptions for medical images. However, the scarcity of labelled medical image-report pairs poses formidable challenges in developing large-scale neural networks capable of harnessing the potential of artificial intelligence, exemplified by large language models. This study builds upon the state-of-the-art vision-language pre-training and fine-tuning approach, BLIP-2, to customize general large-scale foundation models. Integrating adapter tuning and a medical knowledge enhancement loss, our model significantly improves accuracy and coherence. Validation on the dataset of ImageCLEFmedical 2023 demonstrates our model's prowess, achieving the best-averaged results against several state-of-the-art methods. Significant improvements in ROUGE and CIDEr underscore our method's efficacy, highlighting promising outcomes for the rapid medical-domain adaptation of the vision-language foundation models in addressing challenges posed by data scarcity.