Multimodal Large Language Models for Medical Report Generation via Customized Prompt Tuning

📄 arXiv: 2506.15477v1 📥 PDF

作者: Chunlei Li, Jingyang Hou, Yilei Shi, Jingliang Hu, Xiao Xiang Zhu, Lichao Mou

分类: cs.CV

发布日期: 2025-06-18

💡 一句话要点

提出MRG-LLM以解决医学影像报告生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学报告生成 多模态大型语言模型 动态提示定制 条件仿射变换 视觉编码器

📋 核心要点

  1. 医学影像报告生成面临着现有方法无法有效整合医学影像数据的挑战。
  2. 本文提出MRG-LLM，通过结合冻结的LLM与可学习的视觉编码器，实现动态提示定制。
  3. 在IU X-ray和MIMIC-CXR数据集上的实验表明，MRG-LLM在报告生成方面表现出色，达到了最先进的性能。

📝 摘要（中文）

医学影像数据生成报告在临床实践中仍然是一个具有挑战性的任务。尽管大型语言模型（LLMs）在解决这一挑战方面展现出巨大潜力，但其与医学影像数据的有效整合仍需深入探索。本文提出了一种新颖的多模态大型语言模型（MLLM）MRG-LLM，结合了一个冻结的LLM与一个可学习的视觉编码器，并引入了动态提示定制机制。我们的关键创新在于通过从视觉特征派生的条件仿射变换生成特定实例的提示，以针对个别医学图像进行定制。我们提出了两种实现方式：提示级和提示书级定制，能够实现精准的报告生成。在IU X-ray和MIMIC-CXR数据集上的广泛实验表明，MRG-LLM在医学报告生成方面达到了最先进的性能。我们的代码将公开发布。

🔬 方法详解

问题定义：本文旨在解决医学影像数据生成报告的难题，现有方法在整合医学影像与语言模型方面存在不足，导致生成的报告缺乏针对性和准确性。

核心思路：MRG-LLM的核心思路是通过条件仿射变换生成与医学图像实例相关的动态提示，从而实现个性化的报告生成。这种设计使得模型能够更好地理解和描述特定的医学影像。

技术框架：MRG-LLM的整体架构包括一个冻结的LLM和一个可学习的视觉编码器。视觉编码器负责提取图像特征，而LLM则生成文本报告。动态提示定制机制通过两种实现方式（提示级和提示书级）来优化生成过程。

关键创新：最重要的技术创新在于生成实例特定的提示，这一机制通过条件仿射变换实现，与传统的静态提示生成方法有本质区别，能够显著提高报告的准确性和相关性。

关键设计：在模型设计中，采用了特定的损失函数来优化生成质量，并在视觉编码器中使用了先进的卷积神经网络结构，以确保特征提取的有效性和准确性。

📊 实验亮点

在IU X-ray和MIMIC-CXR数据集上的实验结果显示，MRG-LLM在医学报告生成任务中达到了最先进的性能，相较于基线模型，报告生成的准确性提升了显著的比例，具体性能数据将在公开代码中提供。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统以及自动化报告生成等。通过提高医学报告生成的准确性和效率，MRG-LLM有助于减轻医生的工作负担，提高临床工作流程的效率，未来可能在医疗行业产生深远的影响。

📄 摘要（原文）

Medical report generation from imaging data remains a challenging task in clinical practice. While large language models (LLMs) show great promise in addressing this challenge, their effective integration with medical imaging data still deserves in-depth exploration. In this paper, we present MRG-LLM, a novel multimodal large language model (MLLM) that combines a frozen LLM with a learnable visual encoder and introduces a dynamic prompt customization mechanism. Our key innovation lies in generating instance-specific prompts tailored to individual medical images through conditional affine transformations derived from visual features. We propose two implementations: prompt-wise and promptbook-wise customization, enabling precise and targeted report generation. Extensive experiments on IU X-ray and MIMIC-CXR datasets demonstrate that MRG-LLM achieves state-of-the-art performance in medical report generation. Our code will be made publicly available.